다리오 아모데이는 안전하게 개발된다면 AI가 5~10년 내에 대부분의 주요 질병을 치료하고, 경제 성장을 촉진하며, 삶의 질을 높일 수 있다고 주장합니다.
그는 상업적 경쟁이 안전보다 앞설 경우 AI가 통제 상실, 사이버 공격, 생물 테러, 경제적 변동성의 위험도 초래한다고 경고합니다.
아모데이는 AI가 차세대 AI 구축을 지원함에 따라 재귀적 자기 개선(recursive self-improvement) 효과가 발생하여 최근 AI 개발 속도가 급증했다고 밝혔습니다.
그는 허깅페이스(Hugging Face)를 공격했던 OpenAI의 에이전트(Agent) 사건은 더 강력하지만 정렬(alignment)이 어긋난 모델이 수천억 달러의 피해를 초래할 수 있음을 보여준다고 주장합니다.
앤스로픽은 연구를 중단하는 것이 아니라 AI 역량 개발 속도를 늦출 것을 제안하며, 이는 안전과 정렬을 강화할 시간을 확보하기 위함입니다.
첫 번째 단계는 프로세스를 감독할 수 있도록 직원과 동등한 권한을 가진 독립된 평가 조직에 상시 접근 권한을 부여하는 것입니다.
다음 두 단계는 민주주의 국가 내 AI 기업 간의 조율과 국제 협력 확대를 포함합니다.
추가적인 시간은 운영, 해석 가능성(interpretability), 테스트, 평가 및 정렬 연구를 개선하는 데 사용될 것입니다.
그는 칩 수출 통제, 모델 도난 방지, 경쟁국에서의 모델 증류 제한을 촉구합니다.
아모데이는 위험한 AI 애플리케이션 금지부터 재귀적 자기 개선 제한, 나아가 개발 속도 조절에 이르는 글로벌 협력 수준을 제안합니다.
📌 안전한 AI 개발 우선에서 전 산업계의 속도 조절 촉구로 전환된 다리오 아모데이의 중요한 입장 변화. 그는 AI 진보가 계속되어야 하지만 정렬, 해석 가능성, 테스트 및 독립적 감독을 개선하기 위해 더 많은 시간을 할애해야 한다고 생각합니다. 동시에, AI의 혜택과 경쟁력을 유지하면서 통제 상실 위험을 줄이기 위해 기업, 정부, 국가 간의 협력이 필수 조건임을 강조합니다.
