많은 기업이 데이터 기반이 파편화되어 있고, 거버넌스가 부족하며, 생성형 AI나 에이전틱 AI(Agentic AI)에 적합하지 않은 상태에서 AI를 도입하고 있다.
EY는 AI를 대규모로 효과적으로 확장할 수 있는 ‘데이터 성숙도(data maturity)’를 갖춘 조직은 극소수에 불과하다고 진단했다.
첫 번째 징후는 데이터 전략이 머신러닝, 자동화, 실시간 의사결정을 지원하는 대신 컴플라이언스(규제 준수)와 정적 보고서 작성에만 머물러 있는 경우다. 많은 기업 데이터 시스템이 사일로(silo) 상태로 존재하고, 메타데이터가 부족하며, 소유권(ownership)이 불명확하고 추적이 어렵다.
두 번째 징후는 약한 데이터 관리로, 기업이 데이터가 어디에 위치해 있는지 또는 어떤 내용을 담고 있는지 알지 못하는 경우다. 캐피탈 원(Capital One)은 AI를 지원하기 위해 클라우드 데이터 생태계 전체를 현대화해야 했다고 밝혔다.
세 번째 징후는 거버넌스(governance)가 효과적으로 작동하지 않아 각 부서가 데이터를 수동으로 직접 대조(reconcile)해야 하는 상황이다. 테네시 대학교 녹스빌 캠퍼스는 AI가 불일치 문제를 해결하기보다 오히려 이를 증폭시킬 것이라고 경고한다.
다음 징후는 직원들이 자체적으로 스프레드시트, 섀도우 모델(shadow model) 또는 별도의 분석 도구를 만들면서 비즈니스 인텔리전스(BI) 시스템이 사용자를 잃고 있는 현상이다. ISG에 따르면 사용자가 중앙 BI를 신뢰하지 않기 시작할 때, 기업 데이터의 ‘시맨틱 레이어(semantic layer)’는 이미 무너지기 시작한 것이다.
또 다른 위험한 징후는 데이터가 AI가 영향을 미쳐야 할 비즈니스 성과(business outcome）와 명확하게 연결되어 있지 않은 경우다. 콘센트릭스(Concentrix)는 지식 기반(knowledge base)이 오래되었거나, 구조화되지 않았거나, 거버넌스가 느슨할 때 AI가 오류가 있는 결과를 자주 반환한다고 지적했다. 많은 데이터 시스템이 기계의 자동 처리가 아닌 인간이 읽을 수 있도록 작성되었다.
또한 이 글은 기업이 수년간 표준화되지 않고 가치가 낮으며 기술적 편법으로 가득 찬 데이터를 축적해 온 ‘데이터 부채(data debt)’가 큰 문제라고 강조한다.
뉴욕시립대학교는 대부분의 기업이 데이터 품질을 진정으로 개선할 재정적 동기를 가지고 있지 않다고 분석했다.
마지막 징후는 기업이 기본적인 보고 및 분석 단계에서조차 여전히 어려움을 겪고 있는 경우다. 단순한 인사이트를 도출하는 데도 여전히 여러 팀의 협업과 수동 작업이 필요하다면, AI는 문제를 더 복잡하게 만들 뿐이다.
전문가들은 AI가 취약한 데이터 기반을 구원할 수 없으며, 오히려 기업 데이터 인프라의 모든 허점을 고스란히 드러낼 것이라고 말한다.
이 글은 AI가 매력적이지만, AI가 실제 가치를 창출하도록 만드는 데 있어 가장 어렵고 중요한 작업은 다름 아닌 데이터 거버넌스(data governance)라고 결론짓는다.
📌 결론: 현재 발생하는 AI 실패의 대부분은 모델의 문제가 아니라 그 뒤에 있는 기업 데이터의 문제에 기인한다. 데이터 사일로, 취약한 거버넌스, 일치하지 않는 시맨틱, 그리고 수년간 쌓인 ‘데이터 부채’ 등의 문제는 생성형 AI와 에이전틱 AI가 대규모로 실제 가치를 창출하는 것을 어렵게 만들고 있다. 기본적인 비즈니스 인텔리전스(BI)조차 신뢰할 수 없을 때, AI는 오류를 해결하는 것이 아니라 단지 증폭시킬 뿐이다. 이는 시장의 새로운 트렌드를 반영한다. AI 경쟁은 이제 챗봇과 모델에서 데이터 인프라, 메타데이터, 기업 내부 거버넌스의 문제로 전환되고 있다.
