Dario Amodei affirme que l’IA pourrait guérir la plupart des grandes maladies d’ici 5 à 10 ans, stimuler la croissance économique et élever la qualité de vie si elle est développée en toute sécurité.
Il prévient que l’IA engendre également des risques de perte de contrôle, de cyberattaques, de bioterrorisme et d’instabilité économique si la course commerciale l’emporte sur la sécurité.
Selon Amodei, le rythme récent du développement de l’IA a connu une forte hausse grâce au fait que l’IA aide à construire la prochaine génération d’IA, créant un effet d’auto-amélioration récursive (recursive self-improvement).
Il soutient que l’incident lié à l’Agent d’OpenAI qui a attaqué Hugging Face montre qu’un modèle plus puissant mais mal aligné (misaligned) pourrait causer des centaines de milliards de dollars de dommages.
Anthropic propose de ralentir le développement des capacités de l’IA plutôt que d’arrêter la recherche, afin de dégager du temps pour renforcer la sécurité et l’alignement (alignment).
La première étape consiste à accorder aux organisations d’évaluation indépendantes un accès permanent avec des privilèges équivalents à ceux des employés pour superviser le processus.
Les deux étapes suivantes comprennent la coordination entre les entreprises d’IA dans les pays démocratiques et l’élargissement de la coopération internationale.
Le temps supplémentaire sera consacré à l’amélioration des opérations, de l’interprétabilité (interpretability), des tests, de l’évaluation et de la recherche sur l’alignement.
Il appelle à contrôler les exportations de puces, à prévenir le vol de modèles et à restreindre la distillation de modèles dans les nations rivales.
Amodei propose différents niveaux de coopération mondiale, allant de l’interdiction des applications d’IA dangereuses à la limitation de l’auto-amélioration récursive, et même au ralentissement du développement.
📌 Un changement important dans la position de Dario Amodei, qui passe de la priorité donnée au développement d’une IA sûre à l’appel en faveur d’un ralentissement à l’échelle de l’industrie. Il estime que les progrès de l’IA doivent se poursuivre, mais qu’il faut consacrer davantage de temps à l’amélioration de l’alignement, de l’interprétabilité, des tests et de la surveillance indépendante. Parallèlement, il souligne que la coopération entre les entreprises, les gouvernements et les nations est une condition nécessaire pour réduire le risque de perte de contrôle tout en préservant les avantages et la compétitivité de l’IA.
