- MIT 보고서에 따르면 수십억 달러를 투자했음에도 불구하고 95%의 조직이 AI로부터 수익을 얻지 못하고 있으며, 이는 실패의 원인이 기술이 아니라 운영 방식에 있음을 보여준다.
- 핵심 문제는 ‘신뢰의 격차(trust gap)’로, 기업이 AI의 자동화된 결과를 믿지 못해 프로젝트가 테스트 단계에 머물러 있는 것이다.
- 그 원인은 인간을 위해 설계된 기존의 조직 모델이 AI 에이전트를 관리하기에 적합하지 않고 명확한 감독 메커니즘이 부족하기 때문이다.
- 대표적인 사례는 2023년 로보데트(Robodebt) 사건으로, 통제 부족으로 인해 잘못된 알고리즘이 배포되어 심각한 시스템적 결과를 초래했다.
- 기업은 데이터 관리에서 ‘선택의 논리(logic of choice)’ 설계로 전환해야 한다. 즉, 단순히 데이터 제품을 만드는 것이 아니라 의사결정을 구조화해야 한다.
- 데이터, 논리, 규칙, 윤리를 투명하고 감사 가능한 단위로 결합한 ‘의사결정 제품(decision product)’이라는 개념이 등장했다.
- 새로운 모델은 인간이 실시간으로 AI를 제어하고 감독할 수 있도록 human-in-the-loop 및 human-on-the-loop를 요구한다.
- CIO는 AI를 실제 운영에 도입하기 위해 의사결정 카탈로그를 구축하고, 권한 부여 메커니즘을 표준화하며, 지속적인 모니터링 시스템을 구축해야 한다.
📌 AI의 가장 큰 병목 현상은 기술이 아니라 신뢰와 조직 구조다. 95%의 기업이 아직 가치를 창출하지 못하고 있는 상황에서, 의사결정 제품, 실시간 모니터링, human-in-the-loop 메커니즘을 갖춘 의사결정 주도(decision-driven) 모델로의 전환은 필수적이다. 이것이 생성형 AI가 실험에서 벗어나 기업 내에서 진정하고 지속 가능한 가치 창출 도구가 되기 위한 열쇠다.
