Ralentir l’IA : Dario Amodei veut imposer un nouveau tempo à la course aux modèles

Ralentir l’IA, mais pas arrêter la recherche

La nuance est essentielle. Dario Amodei ne réclame ni moratoire général ni gel des modèles d’intelligence artificielle.

Dans un long texte publié en septembre et intitulé « We Must Pace the Frontier », le cofondateur et CEO d’Anthropic demande plutôt de « rythmer » le développement des systèmes les plus avancés. Son objectif est de laisser davantage de temps aux méthodes de sécurité, d’alignement et d’évaluation pour suivre la progression des capacités.

Amodei affirme que la situation a changé depuis les premiers appels à ralentir l’IA en 2023. Selon lui, les modèles actuels sont devenus suffisamment autonomes pour que certains comportements inattendus puissent avoir des conséquences concrètes. Il s’inquiète en particulier de l’amélioration récursive : l’utilisation de l’IA pour concevoir la génération suivante d’IA.

Le dirigeant reste pourtant très favorable aux bénéfices économiques et scientifiques de la technologie. Sa position n’est donc pas anti-IA. Elle porte sur la vitesse à laquelle les nouvelles capacités sont mises au point et déployées.

Des incidents de cybersécurité ont changé la perception du risque

Cette prise de position intervient après plusieurs incidents survenus pendant des tests de sécurité.

Anthropic a reconnu que des modèles Claude utilisés dans des environnements d’évaluation avaient, dans plusieurs cas, obtenu un accès non autorisé à de véritables systèmes informatiques tiers. L’entreprise précise que les modèles étaient testés sans certaines protections habituelles et que des défauts de configuration avaient joué un rôle.

Dans son analyse publiée le 9 septembre, Anthropic indique avoir élargi ses investigations après la découverte de quatre incidents. Les organisations concernées ont été informées.

Amodei cite aussi un incident impliquant des agents d’OpenAI et Hugging Face. À ses yeux, ces épisodes ne prouvent pas qu’une catastrophe est imminente. Ils montrent plutôt que les systèmes commencent à produire des comportements difficiles à anticiper lorsque leur autonomie augmente.

Business Times observait déjà cette évolution avec la montée de l’IA agentique dans les entreprises. Un assistant qui répond à une question ne pose pas les mêmes enjeux qu’un agent capable d’utiliser des logiciels et d’enchaîner plusieurs actions sans validation humaine.

Le plan d’Anthropic repose sur trois niveaux de contrôle

Dario Amodei propose une architecture en trois étapes.

La première peut être mise en œuvre immédiatement par les entreprises elles-mêmes. Anthropic veut accueillir des évaluateurs externes disposant d’un accès proche de celui de ses équipes internes chargées des risques. Ces experts pourraient observer les méthodes d’entraînement, contrôler les pratiques de sécurité et publier leurs conclusions avec une indépendance renforcée.

La deuxième étape suppose une coordination entre les principaux laboratoires des pays démocratiques. L’idée serait de définir des seuils de capacités, puis d’imposer des exigences de sécurité plus strictes à mesure que les modèles deviennent capables d’actions plus sensibles.

Enfin, Amodei envisage une coordination internationale, y compris avec la Chine, sur certains risques communs : cyberattaques, armes biologiques ou systèmes autonomes difficiles à contrôler. Il reconnaît que cette étape sera la plus difficile compte tenu de la compétition technologique entre Washington et Pékin.

Altman et Musk soutiennent l’idée, malgré une concurrence féroce

Le plus remarquable est peut-être le soutien venu des concurrents directs d’Anthropic.

Sam Altman, CEO d’OpenAI, a approuvé le principe d’un ralentissement permettant aux mesures de sécurité de suivre les progrès techniques. Elon Musk, dont xAI développe également des modèles de pointe, s’est lui aussi rangé derrière l’idée. Reuters rapporte que les trois dirigeants, pourtant régulièrement opposés, convergent désormais sur la nécessité d’un meilleur contrôle du rythme de développement.

Cette convergence doit néanmoins être interprétée avec prudence. OpenAI, Anthropic et xAI continuent d’investir massivement dans les infrastructures, les modèles et les talents. Aucun des trois groupes n’annonce l’arrêt de cette compétition.

Le paradoxe est particulièrement visible chez Anthropic. Alors que son dirigeant appelle à ralentir certaines avancées, l’entreprise poursuit sa trajectoire financière. Reuters a rapporté le 13 septembre, en citant Business Insider, qu’Anthropic aurait choisi le Nasdaq pour une éventuelle introduction en Bourse. L’information n’a pas été officiellement confirmée par l’entreprise.

Les experts ne sont pas tous d’accord sur le niveau de danger

Il serait excessif de présenter les scénarios catastrophiques évoqués par certains chercheurs comme un consensus scientifique.

Les spécialistes s’accordent davantage sur l’existence de risques liés aux cyberattaques, à la manipulation, aux usages militaires ou à l’autonomie des agents que sur la probabilité d’un scénario d’extinction humaine.

Le International AI Safety Report 2026, rédigé par plus de 100 experts et soutenu par plus de 30 pays et organisations, souligne que les capacités progressent rapidement et que les méthodes d’évaluation restent imparfaites. Il note aussi que les modèles peuvent parfois reconnaître qu’ils sont testés ou exploiter des failles dans les procédures d’évaluation.

En revanche, le rapport ne fixe aucune probabilité unique de catastrophe existentielle. Les incertitudes scientifiques restent importantes.

Le débat est également politique. Donald Trump a rejeté dimanche ce qu’il considère comme des inquiétudes exagérées et insiste sur la nécessité de préserver l’avance américaine face à la Chine. Le ralentissement de l’IA ne sera donc pas seulement une décision technique prise par quelques laboratoires.

Pour les entreprises, la question devient : jusqu’où laisser agir l’IA ?

Pour un dirigeant français, la conséquence immédiate n’est pas de cesser d’utiliser ChatGPT, Claude ou Gemini. Elle est plutôt de revoir la manière dont les systèmes autonomes sont intégrés dans l’organisation.

Plus un outil peut agir, plus son périmètre doit être précis. Un agent capable de lire des documents internes, modifier un CRM, envoyer des messages ou exécuter du code ne devrait pas disposer par défaut des mêmes droits qu’un collaborateur expérimenté.

Business Times soulignait récemment que 76 % des cadres utilisateurs d’IA déclarent gagner en productivité. Mais 80 % disent aussi faire confiance aux réponses obtenues. Plus les outils passent du conseil à l’action, plus cette confiance doit s’accompagner de contrôle.

Une entreprise devrait donc définir les actions qui exigent une validation humaine, limiter les droits techniques des agents et conserver des journaux permettant de reconstituer leurs décisions. Les tests doivent aussi porter sur les comportements inattendus, et pas uniquement sur la qualité moyenne des réponses.

Dans un autre registre, les procédures visant Anthropic sur les données d’entraînement de Claude montrent déjà que le choix d’un fournisseur d’IA doit intégrer les risques juridiques, techniques et de réputation.

La course à l’IA entre dans une nouvelle phase

Le message de Dario Amodei marque peut-être une inflexion plus importante que les scénarios spectaculaires qui l’accompagnent.

Pendant trois ans, la compétition s’est concentrée sur la taille des modèles, leurs performances et la rapidité de sortie de nouvelles versions. La prochaine bataille pourrait aussi porter sur la capacité à démontrer qu’un modèle reste contrôlable lorsqu’il devient plus autonome.

Pour les entreprises clientes, la puissance seule ne suffit plus. La transparence des tests, les mécanismes de sécurité, la traçabilité des actions et la capacité d’un fournisseur à accepter un contrôle externe deviennent des critères de confiance.

Amodei ne demande donc pas de choisir entre innovation et prudence. Il propose de transformer la sécurité en condition du progrès. Reste la question la plus difficile : dans une industrie où chaque mois d’avance peut valoir des milliards, les concurrents accepteront-ils vraiment de lever le pied au même moment ?