- 기업들이 인간의 지시 없이 스스로 행동하는 ‘에이전틱 AI’를 빠르게 도입하고 있지만, 거버넌스가 이를 따라가지 못해 도입 과정에서 큰 위험을 초래하고 있습니다.
- 드렉셀 대학교가 500명 이상의 데이터 전문가를 대상으로 실시한 설문조사에 따르면, 조직의 41%가 이미 일상 업무에 에이전틱 AI를 활용하고 있으며, 이는 단순한 실험 단계를 넘어선 수치입니다.
- 그러나 자신의 거버넌스 체계가 이러한 시스템을 감독하고 통제할 만큼 성숙했다고 생각하는 조직은 27%에 불과했습니다.
- 여기서 거버넌스란 경직된 규제가 아니라 책임 소재를 명확히 하고, AI의 행동을 모니터링하며, 인간의 개입이 필요한 시점을 결정하는 것을 의미합니다.
- 인간이 반응하기 전에 AI가 실제 상황에서 자율적으로 행동할 때 이러한 불일치는 매우 위험해집니다.
- 예를 들어, 샌프란시스코 정전 당시 자율주행 로보택시가 교차로에 멈춰 서서 긴급 차량의 통행을 방해한 사건이 있었습니다. 시스템은 ‘설계대로’ 작동 중이었음에도 불구하고 말입니다.
- 금융 분야에서는 AI 부정 결제 탐지 시스템이 실시간으로 거래를 자동 차단할 수 있습니다. 고객은 카드가 거절된 후에야 알게 되는데, AI가 틀렸을 때 누가 책임을 질 것인가에 대한 의문이 제기됩니다.
- 많은 조직이 인간을 ‘루프 안(in the loop)’에 두고 있지만, AI가 이미 결정을 내린 후에 참여하는 경우가 많아 감독이 책임 공유보다는 사후 수정에 그치고 있습니다.
- 초기부터 거버넌스가 부족하면 명백한 고장이 없더라도 작은 문제들이 쌓여 신뢰를 약화시킵니다.
- 설문조사에 따르면 거버넌스가 잘 구축된 조직일수록 자율 AI의 초기 이점을 장기적인 효율성과 매출 성장으로 더 잘 연결하는 것으로 나타났습니다.
- OECD는 책임성과 인간의 감독이 나중에 추가되는 것이 아니라 설계 단계부터 포함되어야 한다고 강조합니다.
결론: 기업들이 지시 없이 자율 행동하는 에이전틱 AI를 빠르게 도입하고 있으나 거버넌스가 미비해 큰 위험이 따르고 있습니다. 조직의 41%가 이미 이를 운용 중이지만 강한 거버넌스를 갖춘 곳은 27%뿐입니다. 거버넌스는 책임 명시, AI 행동 감시 및 개입 시점 정의를 뜻합니다. 많은 조직에서 인간의 개입이 결정 사후에 이루어지고 있어, 감독이 책임 완수가 아닌 단순 오류 수정에 머물고 있습니다.
