Un risque potentiel serait par exemple un botnet d’agents en essaim qui prendrait le contrôle d’internet d’ici 6 à 12 mois causant des centaines de milliards de dommages.
Cette phrase provient du récent essai de Dario Amodei, patron d'Anthropic, qui appelle à ralentir la vitesse de développement de l'intelligence artificielle (IA). Selon lui, l'IA progresse désormais plus vite que nos capacités à la contrôler et à l'aligner. Et l'auto-amélioration récursive pourrait accélérer cette dynamique.
L'auto-amélioration récursive (en anglais recursive self-improvement, ou RSI) désigne la capacité d'un système d'intelligence artificielle à améliorer ses propres capacités, voire à concevoir son successeur, sans dépendre à chaque étape d'une intervention humaine. Longtemps cantonnée aux débats philosophiques sur la singularité technologique, cette idée est devenue en 2026 un sujet de préoccupation concret pour les plus grands laboratoires d'IA au monde.
Une idée vieille de soixante ans
Le concept ne date pas de ChatGPT. Il remonte à 1965, quand le mathématicien et et statisticien britannique I.J. Good publie un texte fondateur intitulé Speculations Concerning the First Ultraintelligent Machine. Il y définit une machine « super-intelligente » comme une machine capable de surpasser toutes les activités intellectuelles de n'importe quel être humain, aussi brillant soit-il. Comme concevoir des machines fait partie de ces activités intellectuelles, une telle machine pourrait concevoir des machines encore meilleures qu'elle. Une boucle s'enclencherait alors, menant à une « explosion d'intelligence » qui laisserait l'esprit humain loin derrière.
Selon Good, cette première machine ultra-intelligente serait la dernière invention que l'humanité aurait jamais besoin de faire, à condition qu'elle reste suffisamment docile pour nous expliquer comment la garder sous contrôle.
Pendant des décennies, ce raisonnement est resté une expérience de pensée, reprise par des chercheurs comme Nick Bostrom ou Eliezer Yudkowsky dans les débats sur la singularité technologique. Il n'avait aucune traduction opérationnelle, puisque personne ne disposait d'un système capable d'entraîner un modèle plus performant que lui-même. Cette situation a commencé à changer avec la montée en puissance des grands modèles de langage et des agents autonomes.
[!NOTE] Irving John Good, couramment désigné sous le nom I.J. Good ou Jack Good (né en 1916 et mort en 2009), était un mathématicien et statisticien britannique.
Comment fonctionne l'auto-amélioration en IA ?
Contrairement à l'image d'un système unique qui réécrirait soudainement tout son propre code, l'auto-amélioration récursive actuelle prend la forme de nombreuses boucles spécialisées et imbriquées. Une boucle affine les raisonnements produits par un modèle. Une autre améliore les instructions qui guident un agent. Une autre encore optimise les fonctions de récompense utilisées pendant l'entraînement ou sélectionne les prochaines expériences à tester.
Le principe commun à ces boucles est simple. Le système propose une modification, la teste face à un critère de réussite objectif, conserve ce qui fonctionne, rejette le reste puis recommence. Cette mécanique n'a rien de mystérieux. Elle ressemble à un processus d'ingénierie itératif, mais exécuté à une vitesse et une échelle inaccessibles à des équipes humaines.
Pour illustrer cette dynamique, on peut citer des projets tels que :
- AlphaEvolve, développé par Google DeepMind, associe un grand modèle de langage à un mécanisme de recherche évolutionnaire pour découvrir de nouveaux algorithmes. Le système a notamment amélioré, après cinquante-six ans sans progrès notable, l'algorithme de Strassen pour la multiplication de matrices complexes 4x4, en réduisant le nombre de multiplications scalaires nécessaires.
- The AI Scientist, conçu par le laboratoire Sakana AI avec des chercheurs d'Oxford et de l'Université de Colombie-Britannique, automatise une bonne partie du cycle de recherche scientifique en apprentissage automatique : génération d'idées, implémentation, rédaction d'articles et évaluation automatisée, pour un coût de quelques dollars par publication.
- Anthropic a indiqué que la majorité du code ajouté à ses propres systèmes est aujourd'hui générée par son modèle Claude, et que ses ingénieurs livrent un volume de code nettement supérieur à celui d'il y a quelques années grâce à l'assistance d'agents IA sur des tâches de recherche.
Un rythme de progression mesurable
Ce n'est plus seulement une question d'exemples isolés. En effet, plusieurs organisations tentent désormais de chiffrer la vitesse à laquelle les systèmes d'IA gagnent en autonomie. L'organisation indépendante METR (Model Evaluation and Threat Research) a développé une métrique appelée « horizon temporel à 50 % ». Cette dernière mesure la durée des tâches (exprimée en temps qu'un expert humain mettrait à les accomplir) qu'un système d'IA parvient à réaliser seul avec un taux de réussite d'une chance sur deux.
Selon les travaux de METR publiés en 2025, cet horizon temporel a doublé environ tous les sept mois depuis 2019 ; une tendance restée étonnamment stable sur plusieurs années. Des mises à jour plus récentes de ce même organisme suggèrent une accélération, avec un doublement plus proche de quatre mois sur la période 2024-2025. Ces chiffres restent des estimations issues d'un nombre limité de tâches, principalement dans le domaine du développement logiciel et doivent être interprétés avec cette réserve.
C'est précisément ce type de données qui a conduit Anthropic à publier, en juin 2026, un essai intitulé When AI builds itself, signé notamment par Marina Favaro. Le texte ne prétend pas que l'auto-amélioration récursive est arrivée. Il affirme en revanche qu'elle est devenue mesurable et qu'elle pourrait survenir plus tôt que la plupart des institutions ne s'y préparent.
Trois scénarios...
Dans cet essai, Anthropic distingue trois trajectoires possibles pour les années à venir :
- Les gains de capacité liés à l'automatisation de la recherche en IA finissent par stagner.
- L'efficacité continue de s'améliorer, mais se heurte à un nouveau goulot d'étranglement, par exemple matériel ou énergétique.
- Les systèmes d'IA deviennent capables d'une auto-amélioration récursive complète et commencent à concevoir eux-mêmes leurs successeurs, réduisant le rôle humain à la supervision et à la validation.
Le laboratoire précise ne pas savoir laquelle de ces trois trajectoires se réalisera. Mais il insiste sur un point. Dans le troisième scénario, la façon dont ces systèmes sont sécurisés, surveillés et alignés sur des objectifs humains serait d'une grande importance, à un moment où la marge de correction humaine se réduirait fortement.
Ce point rejoint ce que les chercheurs appellent le problème de l'alignement. Il s'agit de la difficulté à garantir qu'un système d'IA poursuive fidèlement les objectifs que ses concepteurs souhaitent lui voir poursuivre, plutôt qu'une version déformée ou mal spécifiée de ces objectifs. Anthropic présente ce problème comme celui sur lequel l'incertitude reste la plus grande.
OpenAI a tenu un discours voisin, tout en affichant une échéance précise. En effet, le laboratoire évoque un objectif de recherche automatisée en IA autour de mars 2028, dans un texte au ton globalement plus optimiste sur les bénéfices attendus pour l'économie et la médecine. Les deux entreprises ont par ailleurs évoqué la possibilité d'un mécanisme de coordination mondiale permettant de ralentir ou suspendre temporairement le développement des IA les plus avancées, si les capacités progressaient plus vite que les dispositifs de sécurité censés les encadrer.
Cependant, toutes les voix du secteur ne partagent pas ce degré d'inquiétude. Des chercheurs comme François Chollet, créateur de la bibliothèque Keras, ont défendu l'idée que l'explosion d'intelligence décrite par I.J. Good repose sur des hypothèses discutables. Il y a notamment l'idée selon laquelle un gain d'intelligence se traduirait automatiquement et indéfiniment par un gain d'intelligence supplémentaire, sans rencontrer de limites pratiques, matérielles ou de rendements décroissants.
D'autres objections portent sur la fiabilité des systèmes actuels. Les mêmes évaluations de METR montrent que les agents d'IA échouent encore fréquemment sur des tâches longues ou peu balisées et qu'une partie significative du code généré automatiquement est rejetée par des relecteurs humains pour des questions de qualité ou de convention. Le progrès sur des benchmarks ne se traduit pas mécaniquement par une autonomie fiable en conditions réelles.
Pourquoi ce sujet dépasse la seule recherche en IA ?
L'auto-amélioration récursive ne concerne pas uniquement les laboratoires qui entraînent des modèles. Si les capacités de recherche automatisée en IA continuent de progresser au rythme observé ces dernières années, les conséquences toucheraient aussi :
- la gouvernance des entreprises technologiques ;
- la régulation publique ;
- la répartition du pouvoir économique entre les acteurs capables de développer ces systèmes et les autres.
C'est pour cette raison que des dirigeants d'entreprises technologiques extérieures au secteur de l'IA, comme Bill Gates, ont récemment appelé à davantage de coopération internationale sur ces risques, aux côtés des cyberattaques et des usages problématiques dans le domaine biologique. Le sujet est ainsi passé, en quelques années, d'une discussion académique marginale à un point d'attention partagé par des gouvernements, des investisseurs et le grand public.
Sources
- I.J. Good, Speculations Concerning the First Ultraintelligent Machine, Advances in Computers, vol. 6, 1965.
- Anthropic, When AI builds itself (essai de Marina Favaro et Jack Clark), juin 2026.
- METR, recherches sur les « horizons temporels » de tâches autonomes, 2025-2026.
- Google DeepMind, publication sur AlphaEvolve.
- Sakana AI, Université d'Oxford, Université de Colombie-Britannique, The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery, 2024.
