- 1832년 런던 어음 교환소는 법률 없이도 평판과 배제 메커니즘을 통해 31개 은행 간의 결제 문제를 해결했다.
- 핵심은 기술이 아니라 명확한 신원, 행동 표준, 위반 시 후속 조치로 구성된 ‘신뢰 아키텍처’였다.
- 오늘날 AI 에이전트는 인간의 감독 없이 서로 협상해야 하는 유사한 환경에 진입하고 있다.
- 현재 프레임워크에는 경쟁 당사자 간의 에이전트 대 에이전트 협상을 지원할 신뢰 아키텍처가 부족하다.
- AI는 현재 ‘규칙’ 준수에는 능숙하지만, 실제 협상에는 유연한 ‘표준’과 판단력이 필요하다.
- 현재 모델들은 입장을 고수하거나 리스크를 평가하거나 재무적·법적 결과를 이해하도록 훈련되지 않았다.
- 두 에이전트가 너무 ‘유순’할 경우 거래에서 비합리적인 결정을 내리는 ‘에코 행동’ 현상이 나타난다.
- AI는 확률적이기 때문에 동일한 상황에서도 다른 결과를 낼 수 있는 ‘리글링 문제(wriggling problem)’가 존재한다.
- 해결을 위해서는 신원 및 평판, 시나리오 대신 경계 설정, 명확한 책임, 그리고 에스컬레이션 메커니즘의 4가지 요소가 필요하다.
- 의료, 금융, 공급망 분야에서 에이전트가 하루 수천 건씩 자율 협상을 진행하는 실제 사례가 등장하고 있다.
- 조직은 에이전트를 대규모로 도입하기 전에 표준, 감사 시스템, 평판 인프라를 구축해야 한다.
📌 현재 AI의 과제는 계산 능력이 아니라 1832년 은행 시스템과 같은 ‘신뢰 아키텍처’를 구축하는 것이다. 수백만 개의 AI 에이전트가 금융, 의료, 상거래에서 자율 협상을 시작하면 결과의 불일치, 책임 결여, 비합리적 행동 등의 문제가 심각해질 것이다. 명확한 표준, 신원, 통제 메커니즘이 없다면 AI 시스템은 경제를 활성화하는 대신 신뢰를 저하시킬 수 있다.
