Дарио Амодеи утверждает, что ИИ может вылечить большинство основных болезней в течение 5–10 лет, стимулировать экономический рост и повысить качество жизни, если он будет разрабатываться безопасно.
Он предупреждает, что ИИ также создает риски потери контроля, кибератак, биотерроризма и экономических потрясений, если коммерческая гонка будет преобладать над безопасностью.
По словам Амодеи, темпы развития ИИ в последнее время резко возросли благодаря тому, что ИИ помогает создавать следующее поколение ИИ, создавая эффект рекурсивного самосовершенствования (recursive self-improvement).
Он считает, что инцидент с агентом OpenAI, атаковавшим Hugging Face, показывает, что более мощная, но несогласованная (misaligned) модель может нанести ущерб в сотни миллиардов долларов.
Anthropic предлагает замедлить развитие возможностей ИИ, а не останавливать исследования, чтобы выиграть время для укрепления безопасности и выравнивания (alignment).
Первый шаг заключается в предоставлении независимым оценочным организациям постоянного доступа с правами, эквивалентными правам сотрудников, для контроля процесса.
Два следующих шага включают координацию между ИИ-компаниями в демократических странах и расширение международного сотрудничества.
Дополнительное время будет использовано для улучшения работы, интерпретируемости (interpretability), тестирования, оценки и исследований в области выравнивания.
Он призывает контролировать экспорт чипов, предотвращать кражу моделей и ограничивать дистилляцию моделей в странах-соперниках.
Амодеи предлагает уровни глобального сотрудничества: от запрета опасных приложений ИИ до ограничения рекурсивного самосовершенствования и даже замедления развития.
📌 Важное изменение в позиции Дарио Амодеи: переход от приоритета безопасной разработки ИИ к призыву к замедлению темпов во всей отрасли. Он считает, что прогресс ИИ должен продолжаться, но нужно выделить больше времени на улучшение выравнивания, интерпретируемости, тестирования и независимого контроля. В то же время он подчеркивает, что сотрудничество между бизнесом, правительствами и странами является необходимым условием для снижения риска потери контроля при сохранении преимуществ и конкурентоспособности ИИ.
