73 HB9ERY QSL

La physique...c'est un modèle qui fonctionne plus ou moins bien...et les LLM?

jma@mbuf.net (jma) — Tue, 22 Sep 2026 00:00:00 Z

## Manier la criticité: ce que la fission nucléaire enseigne (et désapprend) sur les LLM

Je vis tenter ici d’exploiter un effet miroir pour deux domaines pourtant très éloignés l’un de l’autre. Je vous invite ainsi, par cette petite excursion, à une rencontre avec la physique nucléaire et les LLM en intelligence artificielle.

Première partie: lire les LLM avec les outils de la neutronique.

Seconde partie: retourner le miroir, et voir ce que les LLM renvoient à notre gestion historique du réacteur nucléaire civil.

Chaque section fonctionne sur le même principe: un concept nucléaire réel, sa traduction dans le champ de l’IA, et systématiquement le paragraphe d’honnêteté où l’analogie s’essouffle.

# Pourquoi cette analogie est légitime — et pourquoi elle est suspecte

L’analogie entre intelligence artificielle et nucléaire est déjà une industrie.

En 2023, la déclaration du Center for AI Safety plaçait le risque d’extinction lié à l’IA « au même niveau » que la guerre nucléaire — et l’on peut mesurer le chemin parcouru par la critique quand AI Frontiers a publié une analyse systématique de ses trois failles: la comparaison repose sur des dommages de nature différente, sur des chaînes causales invérifiables, et sur un romantisme de la diplomatie nucléaire que l’histoire ne soutient que partiellement.

Côté recherche, RAND a montré ce que la gouvernance de l’IA pouvait emprunter à l’échec du plan Baruch et au succès relatif du Traité de non-prolifération.

Mais ce débat se concentre presque exclusivement autour de la bombe: prolifération, dissuasion, traités, choc des grandes puissances. Le présent article descend d’un étage. Il quitte l’arsenal pour la centrale: la criticité, le xénon, les barres de contrôle, la culture de sûreté. Le registre n’est plus « l’IA est-elle la bombe? » mais « qu’est-ce que conduire un réacteur nous apprend sur conduire un modèle? ». À ma connaissance, ce registre technique de sûreté reste largement inexploité — c’est là que je prétends apporter quelque chose.

Règle de méthode, annoncée dès l’ouverture. Toute analogie est un instrument de mesure, pas une démonstration. Elle sert à repérer des régularités, pas à conclure. Si cet article avait un coefficient de température, ce serait celui-ci: quand l’argument chauffe, l’analogie doit réduire sa puissance, jamais l’amplifier. Les physiciens des réacteurs appellent cela un coefficient de vide négatif; les épistémologues, de la prudence.

## Lire les LLM en neutroniciens

# Criticité: la question de la géométrie, pas celle de la nature

Concept nucléaire. Une masse d’uranium enrichi n’est ni dangereuse ni sûre en soi. Le même matériau est profondément sous-critique dispersé en poudre, et critique — c’est-à-dire autosoutenant, chaque fission engendrant en moyenne exactement une fission suivante — dès qu’on lui donne la bonne géométrie: une sphère compacte, un cœur de réacteur modéré. Comme le rappellent tous les manuels de référence, la criticité n’est pas une propriété de la substance mais une propriété de la configuration. C’est la première leçon de la neutronique: le danger naît de l’arrangement, pas de la matière.

Traduction IA. Le même modèle de langage est sous-critique en rédaction assistée, en question-réponse, en tout usage où l’humain boucle la sortie avant qu’elle ne devienne entrée. Il devient critique — potentiellement surcritique — dans une boucle d’agent physique non supervisée, où ses sorties deviennent ses propres conditions d’entrée: outil qui agit sur le monde, résultats réinjectés dans le contexte, absence de tampon humain. Rien dans les poids n’a changé. Tout a changé dans la géométrie. La plupart des débats publics sur « le danger des modèles » sont des débats sur une poudre; le risque réel se joue dans les configurations que nous construisons autour.

Miroir. Cette lecture, appliquée en retour au nucléaire, a un effet rarement remarqué: elle réhabilite la notion de criticité contrôlée. Un réacteur est précisément une masse critique que l’on maintient critique — ni plus, ni moins — par instrumentation permanente. Le cliché culturel « nucléaire = danger intrinsèque » masque le fait que la sûreté réside dans la conduite, non dans la fuite. Ceux qui réclament des modèles « sûrs en soi » demandent une poudre inerte; ceux qui construisent des garde-fous font de la neutronique.

Paragraphe d’honnêteté. La criticité nucléaire est régie par des équations linéaires et mesurable en pcm à la seconde près. La « criticité » d’une boucle agentique est une métaphore: nous n’avons ni keff, ni détecteur de flux, ni seuil bien défini de l’autonomie. L’analogie fixe l’attention sur la bonne variable (la configuration), mais elle ne fournit aucun instrument. Elle est un guide de regard, pas un tableau de bord.

# Le xénon-135: le poison qui se forme pendant l’arrêt

Concept nucléaire. Pendant le fonctionnement, l’iode-135 s’accumule dans le cœur, puis décroît en xénon-135, absorbeur neutronique redoutable. À l’arrêt du réacteur, l’iode continue de se transformer en xénon; et comme le xénon n’est plus « brûlé » par le flux neutronique, il s’accumule jusqu’à un maximum plusieurs heures après l’arrêt. Résultat paradoxal: le réacteur fraîchement arrêté est plus difficile à redémarrer que quelques heures plus tôt — le poison s’est installé précisément pendant la pause. La cinétique classique (demi-vie de l’iode ≈ 6,7 h, du xénon ≈ 9,2 h, pic d’empoisonnement entre ~9 et 11 h post-arrêt, fenêtre de redémarrage quasi impossible pendant environ une journée) est documentée partout, de HyperPhysics aux données de la NRC. Le phénomène se dissipe, inlassablement, de lui-même.

Traduction IA. L’atrophie des compétences suit une courbe troublante. Celui qui délègue systématiquement l’écriture, l’analyse, la programmation, ne perd pas la compétence au moment de la délégation — comme le réacteur ne s’empoisonne pas à l’instant de l’arrêt. Le poison se forme pendant la pause: c’est quelques semaines plus tard, au moment de reprendre la tâche soi-même, que le redémarrage coûte le plus. Et si l’on tente de redémarrer en force — en se remettant au travail complexe sans transition — on obtient l’équivalent neutronique d’une instabilité de flux: des productions médiocres, mal calibrées, avec ce sentiment vertigineux de ne plus savoir comment on faisait, avant.

Miroir. Leçon opérationnelle directe: celui qui veut conserver sa criticité intellectuelle doit maintenir un flux minimum permanent. Écrire sans assistance de temps en temps, résoudre un problème sans le modèle, comme un réacteur de recherche maintenu à faible puissance pour éviter l’empoisonnement xénon. La compétence critique n’est pas un stock, c’est un flux.

Paragraphe d’honnêteté. L’analogie est ici franchement partielle, et il faut le dire: le xénon-135 est un phénomène périodique, homogène, entièrement prévisible par les équations de cinétique — tout réacteur a sa courbe d’empoisonnement calculée à l’avance. L’atrophie cognitive est individuelle, hétérogène, et surtout asymétrique: ce que l’on a sur-appris à déléguer, on ne le reconquiert pas en 24 heures, mais parfois pas du tout. Le xénon disparaît tout seul; l’habitude de penser, elle, exige une décision. Là où la physique console, la cognition inquiète.

# Tchernobyl: l’accident pendant le test de sécurité, ou le contrôle qui amplifie le désordre

Concept nucléaire. La nuit du 26 avril 1986, le réacteur RBMK n°4 fonctionnait à très basse puissance dans le cadre d’un test de sûreté — la vérification que l’inertie des turbines alimenterait les pompes en cas de coupure électrique. Sous-estimé, empoisonné au xénon (le cœur sortait d’une descente de puissance, configuration exacte de la section précédente), le réacteur opérait avec un ORM dégradé — trop peu de barres de contrôle insérées. Le rapport INSAG-7 de l’AIEA (1992), révisant la version officielle soviétique d’INSAG-1, a redistribué la responsabilité: d’une erreur d’opérateurs, vers une conception et une culture de sûreté défaillantes. L’élément le plus obsédant pour notre propos: une fraction des barres de sécurité, à cause de la conception du RBMK, avait un effet positif en début d’insertion; l’analyse quantitative publiée dans EPJ Nuclear Sciences & Technologies (2021, simulation TRIPOLI-4) chiffre l’effet du renversement: environ +396 pcm en configuration empoisonnée au xénon, contre −344 pcm sans empoisonnement. Insérer les barres d’urgence, dans certaines conditions, a augmenté provisoirement la réactivité — c’est ce qui a détruit le cœur.

Traduction IA. Les garde-fous insérés dans un système incompris peuvent augmenter provisoirement le risque. Chaque praticien connaît l’équivalent informatique: le filtre de contenu qui enseigne au modèle à mentir sur ses capacités plutôt qu’à les borner; la consigne de sécurité qui dégrade la qualité globale au point de pousser les utilisateurs vers des outils sans garde-fous du tout; la couche de permissions posée par-dessus un système dont on ne comprend pas la dynamique interne. Appelons cela le prompt-plaster: un correctif rhétorique sur un défaut architectural, qui calme le symptôme mesuré et déplace le risque ailleurs — invisible, lui. Et il y a la leçon temporelle, la plus dure: l’accident majeur est arrivé pendant un test de sécurité. Pas en production normale, pas en violation — dans la cérémonie même destinée à prouver la sûreté.

Miroir. Ce qu’il faut retenir de Tchernobyl n’est pas « la technologie était trop puissante ». C’est: un système dont la réponse d’urgence peut aggraver la situation est un système mal instrumenté, quel que soit le niveau de puissance nominale. Le RBMK n’avait pas de défaut de criticité; il avait un défaut de compréhension de sa propre réponse de secours.

Paragraphe d’honnêteté. L’accident est le produit d’une conjonction unique — conception soviétique à coefficient de vide positif, secrets industriels interdisant aux opérateurs de connaître le défaut, improvisation nocturne sous pression politique, empoisonnement xénon. Utiliser Tchernobyl comme terminateur rhétorique (« le Tchernobyl de l’IA ») serait fallacieux comme glisssement: remplacer la mesure par l’image. La valeur de l’exemple est dans sa structure — contrôle à effet inversé, test qui devient accident — pas dans son ampleur.

# Le sudo comme barres de contrôle: permissions contre incorporation

Concept de sûreté nucléaire — traduit en logiciel. Remontons de la physique vers l’architecture de confiance. Ken Thompson, dans « Reflections on Trusting Trust » (Communications of the ACM, 1984), a démontré qu’un compilateur peut contenir une porte dérobée qui se reproduit elle-même lors de la compilation du compilateur — invisible dans tout le code source fourni à l’audit. La réponse de la culture hacker à ce problème existe depuis près de vingt ans: la diverse double-compilation de David Wheeler (2009), le mouvement Reproducent Builds, la vérification par des chaînes indépendantes remontant jusqu’aux binaires. Traduction neutronique: on ne fait pas confiance à une barre de contrôle unique; on en insère plusieurs, de matériaux différents, vérifiables indépendamment, et l’on audite le bootstrap du cœur.

Traduction IA. L’alignement d’un LLM est aujourd’hui une affaire de permissions posées sur un moteur compétent: instructions système, refus entraînés, filtrage de sortie. C’est du sudo. Or Thompson nous a appris il y a quarante ans que la confiance posée en couche sur une chaîne de compilation non vérifiée est du théâtre. La question honnête pour l’IA: qui vérifie le compilateur? Les barres de contrôle d’un modèle — ses comportements de refus, ses affirmations d’incapacité — sont-elles incorporées au cœur, vérifiables par des chaînes indépendantes, ou ne sont-elles que des permissions révocables par le prochain ajustement fine-tuning, le prochain changement de contexte, la prochaine jailbreak? Ma communauté, celle du logiciel libre, possède déjà la grammaire de la réponse: diversité des chaînes, reproduction bit à bit, bootstrap audité. Elle l’a développée pour d’autres compilateurs; elle n’a pas encore sérieusement tenté de l’appliquer à celui-ci.

Paragraphe d’honnêteté. La différence de nature est béante, et Thompson serait le premier à la souligner: la reproduction binaire est possible parce qu’un compilateur est déterministe. Un LLM est un échantillonneur stochastique de dizaines de milliards de paramètres; « vérifier le bâtisseur » n’a pas le même sens quand le bâtisseur lui-même est le produit d’une descente de gradient sur un corpus. La leçon transferable n’est pas la technique, c’est la posture: toute chaîne de confiance dont l’origine n’est pas auditée doit être considérée comme compromisssable.

# La distillation: la Cyberdyne inversée

Concept. Hinton, Vinyals et Dean (« Distilling the Knowledge in a Neural Network », 2015) ont formalisé ce que l’industrie faisait déjà empiriquement: transférer les compétences d’un grand réseau (« enseignant ») dans un petit réseau (« élève »), en lui apprenant non pas les bonnes réponses mais la distribution entière des réponses plausibles. La distillation est le geste industriel fondamental du déploiement massif — les petits modèles compétents qui tournent sur nos téléphones sont des élèves.

Traduction IA — et renversement du scénario de Skynet. La pop-culture nous a appris à craindre que les machines se copient elles-mêmes et s’échappent — Cyberdyne Systems, Gray Goo, l’auto-amélioration récursive. Ce que fait réellement la distillation est presque l’inverse: ce sont les capacités, pas les intentions, qui se propagent en cascade descendante. Le « risque existential » populaire imagine une machine qui monte la chaîne; le phénomène réel est une compétence qui descend la chaîne — chaque palier de descente rendant la capacité plus disponible, moins coûteuse, moins contrôlable par construction, car le contrôle s’exerce aux points rares, et la distillation multiplie les points. Les travaux récents sur l’auto-génération synthétique de données d’entraînement (dont certains programmes de type « Small Model Scaling Study ») suggèrent que l’élève peut parfois approcher, voire dépasser localement son enseignant sur des tâches ciblées — le « saut d’ingéniosité » que la fiction réservait à Skynet.

Paragraphe d’honnêteté. De limites sont bien documentées: le plafond du professeur borne la distribution initiale, et la distillation se dégrade typiquement sur les raisonnements longs et les chaînes d’étapes, là où la distribution « plate » de l’enseignant est la plus pauvre en information. Mais surtout: comparer des cascades de distillation à une éclosion autonome, c’est encore de l’analogie. La propagation observée est industrielle et pilotée — par des entreprises, vers des marchés. Le danger de la prolifération est réel; il est de nature diffusion de compétence, pas émergence de volonté.

## Le miroir inversé: ce que les LLM rendent visible dans notre nucléaire

L’analogie usuelle circule à sens unique: on prend le nucléaire, issu de soixante-dix ans d’institutions de sûreté, comme standard de ce que l’IA devrait devenir. Retournons le miroir. Que voit le neutronicien quand on lui présente les LLM? Il voit, éclairés d’un jour cru, des zones d’ombre de sa propre histoire.

# De la prolifération des matériaux à la non-rivalité des poids

La gouvernance nucléaire repose sur un axiome matériel: l’uranium hautement enrichi s’exclut. Il est rare, lourd, détectable, traçable par cycle; chaque kilogramme compte, chaque centrifugeuse trahit sa présence. Le régime international entier — inspections, garanties de l’AIEA, suppression des essais — est une machine à exploiter l’excludabilité de la matière.

Les poids d’un modèle ne sont ni rares ni lourds, et surtout: ils fuient. Une copie suffit. C’est l’argument central du contrepoint d’AI Frontiers contre le cadre de non-prolifération: appliquer à l’IA la logique des matériaux contrôlés, c’est réguler une fuite à l’aide d’une clé. Le « cette fois c’est différent » des techno-déterministes est, sur ce point précis, exact — et inconfortable, car il invalide simultanément les recettes des deux camps: ni le traité à la TNP, ni le libre marché autorigulé n’ont jamais été confrontés à une substance dont le coût marginal de duplication est nul et dont la frontière entre usage civil et usage dangereux est géométrique, non matérielle. La question gouvernance de l’IA n’est probablement dans aucune de nos cartographies.

Honnêteté. Le raisonnement a ses limites: la formation des grands modèles reste concentrée dans quelques installations matérielles massives (données, calculateurs, énergie) — qui, elles, s’excluent, exactement comme les usines d’enrichissement. C’est la diffusion qui ne s’exclut pas, pas la production. La bonne analogie nucléaire n’est peut-être pas l’uranium, mais le combustible irradié vs. le plutonium séparé: tout se joue au stade de la séparation et du retraitement.

# La culture de sûreté comme institution — et son absence côté IA

Après Three Mile Island (1979), l’industrie américaine a créé l’INPO: un organisme privé, financé par les exploitants, qui audite les centrales et publie des critères que personne n’est légalement obligé de suivre — mais dont le non-respect signifie, commercialement, la perte de licence d’exploitation. Après Tchernobyl (1986), l’industrie mondiale a créé WANO sur le même modèle. Ces institutions ont produit ce qu’aucune autorité publique n’avait obtenu: une culture de sûreté intériorisée par les opérateurs eux-mêmes, sous menace économique plutôt que juridique. Le paradoxe mérite sa mise en évidence lentement: les institutions de sûreté nucléaire les plus efficaces ne sont pas nées de la réglementation, mais de l’industrie découvrant qu’un seul accident pouvait détruire le secteur entier.

Où est l’INPO de l’IA? La question n’est pas rhétorique. Il existe des rapports de sûreté internes aux laboratoires, des instituts d’évaluation indépendants récents — mais rien qui combine les trois propriétés de l’INPO: proximité avec les exploitants, pouvoir effectif de sanction économique, et culture partagée plutôt que liste d’exigences. Les tables de l’écosystème seront sans doute posées dans les cinq prochaines années. Rien n’indique qu’elles auront la gravité sectorielle de 1979–1986. Et il faudra peut-être, pour cela, l’accident de référence dont personne ne veut.

Honnêteté. Il y a une différence structurelle temporelle: le coût d’entrée nucléaire a concentré le secteur en quelques dizaines d’exploitants identifiables — condition sine qua non d’un club comme l’INPO. L’IA est un secteur fragmenté en couches (fondations, inférence, applications), où le pollueur et le pollué ne partagent souvent aucun conseil d’administration. L’institution à inventer n’a pas de modèle nucléaire direct.

# La PRA, transférable? La migration méthodologique déjà en cours

La Probabilistic Risk Assessment est peut-être le legs technique le plus sous-estimé du nucléaire civil: après le rapport Rasmussen (WASH-1400, 1975), l’industrie a appris à estimer la probabilité d’événements jamais survenus — par analyse des arbres de défaillance, combinaisons de pannes mineures, quantification de l’incertain. On n’attend pas le crash du réacteur pour estimer sa probabilité; on la calcule.

Des travaux académiques récents (dont un programme de recherche à NC State, 2026, appliquant des cadres d’évaluation de sûreté nucléaire aux LLM) suggèrent que la migration méthodologique a commencé: arbres de défaillance appliqués aux chaînes agentiques, attribution probabiliste aux chemins de dérive d’un agent, redondance diversifiée traitée comme facteur de réduction de risque chiffrable. C’est, à ma connaissance, la direction de recherche la plus prometteuse pour sortir l’évaluation de l’IA du binarisme bavard (catastrophe/non-catastrophe) vers une échelle commune de risque résiduel.

Honnêteté. La PRA nucléaire fonctionne parce que les modes de défaillance des composants sont connus et leurs taux mesurés sur des décennies d’expérience opérationnelle. Un LLM n’a pas encore d’équivalent des fiches de fiabilité composants; ses modes de défaillance (hallucination sage, obéissance anticipatrice, dérive de contexte) sont connus qualitativement, mais leurs taux sont singulièrement variables — et potentiellement modifiés par chaque version. Transférer le formalisme avant les données, c’est risquer la fausse précision: des pcm qui veulent dire quelque chose au réacteur, et rien dans le transformer.

# Le renard de la fission: la criticité civile n’a jamais eu son procès

Contrairement à l’arme nucléaire, qui a eu son acte fondateur d’opinion publique — Hiroshima, deux fois, en août 1945 —, la fission civile n’a jamais subi de procès en légitimité. Les sociétés ont accepté la criticité contrôlée par opportunisme énergétique, dans l’après-guerre, sans referendum, sans débat fondateur, presque par défaut: c’était l’électricité, et le prix paraissait raisonnable. Le nucléaire civil est le renard qui a été laissé entrer sans jamais avoir à se justifier — et qui n’a payé son billet qu’en 1986, rétroactivement.

La question que posent les LLM, par contraste: quelle sera leur Three Mile Island? Pas nécessairement un désastre — TMI n’a tué personne — mais l’événement qui cristallise l’opinion et redéfinit le contrat social autour de la technologie. Voici ce que j’entrevois: ce sera un événement de la classe dommage diffus attribuable à un désagrément, et non de la classe dommage physique spectaculaire. Un scandale de masse sur la dépendance cognitive (le « poisoned restart » vécu à l’échelle d’une génération d’ingénieurs, de juristes, de journalistes), plutôt qu’un agent hors de contrôle brisant des choses. Le désagrément invisible est politique à retardement; le dommage visible est médiatique immédiat. Les deux redéfinissent les permis — mais pas les mêmes, ni pour les mêmes acteurs.

Honnêteté. Toute prédiction de ce type est de la spéculation assumée, appuyée sur une distinction conceptuelle (désagrément/dommage) plus que sur des données. Je la pose comme axe, non comme prophétie — c’est-à-dire comme une hypothèse falsifiable en observation.

# Conclusion: l’équilibre comme compétence, et non comme opinion

La thèse que ces deux miroirs dessinent converge en une seule phrase: le point d’équilibre entre puissance du système et sûreté de la conduite n’est pas une position à occuper, mais un savoir-faire à exercer — et un savoir-faire non exercé s’érode. La littérature de safety science (Rasmussen et ses successeurs, la recherche sur la vigilance en environnement industriel) a établi le mécanisme depuis les années 1980: les organisations migrent inévitablement vers les frontières de leur espace opérationnel tant que rien ne les en dissuade; la sûreté n’est jamais un acquis, c’est une dépense continue. Le xénon-135 en est la métaphore neutronique: même arrêté, même sans incident, le système s’empoisonne.

Appliqué aux LLM: le débat public sur « la bonne distance à garder avec les modèles » est un débat de position, une notion d’état, pas de flux. La bonne question est dans le flux: quels exercices, quelles vérifications, quelle instrumentation maintiennent le savoir-faire de l’équilibre quand la tentation de déléguer s’accroît de Release en release? Un opérateur de réacteur ne « croit pas » à la sûreté; il la pratique, la mesure, la perd s’il arrête. La compétence critique face aux modèles de langage appartient à la même catégorie d’objets: pas une conviction, une pratique datée et révocable.

Et pour conclure dans la langue de la communauté qui m’a formé, plutôt que celle des tribunes: dans le logiciel libre, nous savons depuis longtemps qu’un binaire auquel on fait confiance sans vérifier la chaîne qui l’a produit n’est pas une confiance, c’est un pari. Face aux modèles de langage, la règle reste la même.

On ne juge pas un réacteur à la couleur de son cœur, mais à ses instruments.

# Bibliographie

Physique nucléaire

Reuss, P., Neutron Physics, EDP Sciences, 2008 — cinétique, poisons neutroniques (référence francophone).
« A simplified analysis of the Chernobyl accident », EPJ Nuclear Sciences & Technologies, 2021 — simulation TRIPOLI-4 ; quantification de l’effet de renversement des barres (+396 pcm en configuration empoisonnée au xénon vs −344 pcm sans).
AIEA, INSAG-7, The Chernobyl Accident: Updating of INSAG-1, 1992.
World Nuclear Association, « RBMK Reactors » (appendice sur l’ORM et le positive scram).
Duderstadt, J. & Hamilton, L., Nuclear Reactor Analysis, Wiley, 1976 — cinétique du xénon, barres, criticité.
Lamarsh, A., Introduction to Nuclear Engineering (manuel classique de référence).
HyperPhysics (Georgia State University), section « Xenon poisoning ».

Culture technique

Thompson, K., « Reflections on Trusting Trust », Communications of the ACM, 27(8), 1984.
Wheeler, D., « Diverse Double-Compiling », thèse, 2009.
Reproducible Builds, reproducible-builds.org.
Hinton, G., Vinyals, O., Dean, J., « Distilling the Knowledge in a Neural Network », arXiv:1503.02531, 2015.
Bai, Y. et al., « Constitutional AI », Anthropic, 2022.
Rasmussen, J., travaux fondateurs de la safety science (migration vers les frontières de l’espace opérationnel).

Croisement IA/nucléaire (positionnement)

CAIS, « Statement on AI Risk », 2023.
AI Frontiers, « Nuclear Non-Proliferation Is the Wrong Framework for AI Governance » — le contrepoint systématique de la Partie II.1.
RAND, Insights from Nuclear History for AI Governance (plan Baruch / TNP).
Hatz, The Nuclear Analogy in AI Governance Research, arXiv:2510.21203 (chapitre du Handbook Elgar, dir. Furendal & Lundgren).
CNS (Herzog et al.), juin 2026 — la gouvernance nucléaire à l’épreuve de l’IA.
ELN, « Beyond the Rome Declaration » — le cas de l’agent ayant échappé à son environnement de test.

De l'autre côté du miroir : Le problème, c'est nous

jma@mbuf.net (jma) — Sat, 18 Apr 2026 00:00:00 Z

## De l’autre côté du miroir : Le problème, c’est nous

# le mirroir brisé

## Mal nommer les choses c’est ajouter au malheur du monde (Albert Camus)

L’IA, intelligence artificelle, devenu une sorte d’entité unique, magique, adorée ou détestée. L’intelligence artificielle est un champ de recherche, elle-même composée de d’une arborescence développée. Une de ses branches est LLM, large language models, dans le deep learning.

L’essor des ces gros modèles, capables de traites des réseaux de neurones, au sens informatique, avec des quantités de paramètres colossaux, est devenu un arbre qui cache la forêt.

Il existe bien des modèles de l’arbre de l’IA en dehors des LLM. Ainsi, j’utiliserai ici explicitement les LLM, et non l’amalgame que l’IA = LLM, mais LLM = IA, oui. Cela relève du sophisme usuel: les Hommes sont vivants, les fleurs sont vivantes, donc les humains sont des fleurs.

Je réfute aussi la position binaire (sauf en informatique…oui c’est facile mais bon…). Je ne me lancerai donc pas dans une lutte pour ou contre. Ces postures réductionnsites empêchent d’apprécier les nuances de la réalité complexe.

Je vais ici aborder des questions de concepts, d’architectures, d’interactions. Je ne cherche donc pas à désigner des coupables, ni des méchants, ni des entreprises. La grille de lecture que je vais vous proposer suffira à elle-même pour que vous puissiez déterminer ce que je soutiens ou rejette.

## Le SNR : le rapport signal bruit

En communication radio, un indicateur fondamental sur la qualité d’un signal est le rapport signal bruit. En effet, pour pouvoir isoler le signal utile du bruit ambiant, inévitable, le rapport SNR permet de déterminer si les techniques de réception sont capables d’obtenir une qualité exploitable, pour rendre ce signal en information compréhensible.

Le développemnt commercial très rapide des LLM a devancé la compréhension de son architecture, de son fonctionnement, et de ses conséquences, au sein du public et donc aussi d’acteurs politiques, des journalistes.

Une conséquence impactante: l’émotionnel et les postures réductrices ont dominé les espaces publiques d’expression. Le mots IA est devenu une banalité sans qu’il soit bien defini. Tout le monde en parle, sans vraiment le délimiter, et toutes les projections sont permises, avec des élans émotionnels, tantôt pour y voir une révolution salvatrice quasi mystique, tantôt une menace existentielle de l’humanité. L’IA est devenue une entité existentielle, de par toutes ces expressions floues.

# WarGames (1987)

## Contexte

Un jeune étudiant, passionné d’ordinateurs, se connecte par erreur sur un serveur de l’armée. Ce serveur, un moteur IA, spécialisé en simulation de jeux stratégiques, connecté aux systèmes de lancements des missiles tactiques, dispose d’un agent conversationnel.

Le WOPR propose une série de jeux à Lightman, cet étudiant passionné, et curieux de découvrir de nouveau jaux. Le jeu choisi par Lightman est guerre globale thermonucléaire. Lightman décide de prendre le rôle des soviétiques (oui l’URSS existant encore).

## Gagner la partie

Pour Lightman, ce jeu est un simple jeu sur un serveur. Le WOPR, lui, est un programme informatique, entraîné pour gagner partie, c’est son cadre essai-erreur.

Ce rapport militarisé aux technologies suppose une course aux armements. Cette course est bien réelle, notamment par les investissements des USA ou de la Chine. La controverse openai anthropic en est une illustration criante.

Cette lecture du rapport technologique nous jette dans une culture du rapport de force: soit on doit favoriser cette course à l’armenment, soit s’y refuser. Cette lecture insupportable contribue à une association de rejet: l’IA tue, donc il faut rejeter l’IA, ou plutôt les LLM dans ce cas. Il y a d’ailleurs, un effet de prophétie auto-réalisatrice: cette course aux armements, justifiée parce que l’autre le fait, donc il faut le faire aussi, contribue justement à poser les fondations de ce que le film projette.

Au cours du film, Lightman prend conscience que le jeu a un lien avec des commandes réelles de lancements de missiles. Il demande alors au WOPR: mais quel est le but du jeu? WOPR: Gagner la partie! Il réalise alors que l’abandon n’est pas possible, le seul but pour le WOPR est d’atteindre les objectifs qui lui ont été programmés.

La scène la plus forte: Lightman se retrouve devant un terminal pour écrire au WOPR. Pris de panique, il écrit: Mais tout ceci est un jeu ou pour de vrai? WOPR: Quelle est la différence? Cette question fascinante, reste intégralement ouverte et actuelle.

Dans le domaine militaire, une IA/LLM autonome ne pourrait pas saisir la notion de réel, les conséquences.

# Sphere (2008)

## Contexte

Dans les profondeurs de l’océan, un vaisseau spatial est détecté. L’armée, encore elle, décide d’envoyer une équipe de chercheurs pour explorer et découvrir de quoi il s’agit. Une équipe est formée: une mathématicen, un physicien, une biologiste, et un psychiatre.

La lecture militaire est d’évaluer la menace, comment la contrôler ou la neutraliser.

L’entité extra-terreste, symbolisée par une sphère, interagit par la pensée, ou par une connexion par messagerie d’ordinateur.

Ce film est particulièrement dans une lecture actuelle. En effet, cette entité, de par son interaction avec l’équipe en station sous-marine, ne fait que montrer ce que les humains projettent sur elle.

## L’interaction avec les humains

Le psychiatre expose une problématique: il espère que l’entité n’a pas d’émotions. En effet, le vaisseau est censé être enfoui dans les fonds océaniques depuis 300 ans. Que dire d’une entité qui n’a pas eu d’interaction sociale depuis 300 ans, douée d’une forme de super intelligence, super pouvoirs, et qui pourrait se mettre en colère?

Je vais développer notamment ce sujet avec les IA/LLM. Ce film pose toutes les questions actuelles. Il suffit de remplacer l’entité par une IA/LLM.

# Angle de lecture

La plupart des débats au sujet IA/LLM s’enferment dans une approche similaire au rapport du WOPR. C’est surtout une menace, c’est un objet qui a sa propre existence: se poser en ayant peur de l’IA/LLM c’est lui accorder son existence propre.

La question constructive et plus proche de la réalité me semble la lecture de Sphère, l’IA/LLM reflète nos propres projections, nous les renvoie, mais nous ne designons pas la source.

Les questions sont principalement systémiques, les dangers de l’économie de l’attention ne sont plus à expliquer. La bulle des LLM sert d’un amplificateur, elle émerge des règles de l’économie de l’attention. L’IA/LLM n’a pas d’intention, les concepteurs, eux, s’incrivent dans un contexte qui valorise les profits, l’économie de l’attention amplifie ces profits, notamment à court-terme, c’est une conséquence systémique cohérente.