- 많은 조직이 AI 에이전트를 도입하지만, 특히 결과의 불확실성으로 인해 테스트 및 출력 평가 비용을 과소평가하고 있습니다.
- 설문 조사에 따르면 기업의 약 80%가 AI 에이전트를 사용 중이나, 대부분이 훈련 및 평가 비용을 예상하지 못해 심각한 예산 초과를 겪고 있습니다.
- Monte Carlo의 CTO인 Lior Gavish는 많은 기업이 출력 점수를 매기기 위해 ‘LLM as a judge’를 사용하며, 이로 인해 평가 비용이 에이전트 실행 비용보다 높아질 수 있다고 밝혔습니다.
- 며칠간 지속된 LLM 기반 평가로 인해 Monte Carlo가 5자리 수(만 달러 단위)의 청구서를 받은 사례는 LLM 호출이 기존 소프트웨어보다 훨씬 비싸다는 것을 보여줍니다.
- LLM으로 LLM을 평가하는 것은 결과가 반복되지 않기 때문에 편향의 위험이 있습니다. 동일한 테스트라도 실행할 때마다 다른 결과가 나올 수 있습니다.
- 평가 비용은 에이전트의 복잡성에 따라 달라집니다. 소규모 에이전트는 수천 달러, 복잡한 에이전트는 수만 달러에 달할 수 있습니다.
- 컴퓨팅 및 API 비용 외에 가장 흔히 간과되는 큰 비용은 ‘그라운드 트루스(ground truth)’를 확립하기 위한 인간의 평가입니다.
- Clearlead AI Consulting의 Paul Ferguson은 고객 서비스와 같이 모호한 유스케이스는 정답과 오답을 정의하기가 매우 어렵다고 강조합니다.
- Redcar.ai의 Chengyu “Cay” Zhang은 평가를 ‘보험’이라고 부르며, 평가를 줄이는 것은 나중에 갚아야 할 기술적 부채일 뿐이라고 말합니다.
- 평가 방법에는 저렴한 유닛 테스트, AI 기반 채점, 레드팀 테스트, 비용이 많이 드는 휴먼 섀도잉이 있습니다.
- 권장 사항: 에이전트 범위를 좁히고, LangSmith, PromptLayer, Ragas와 같은 프레임워크를 사용하며, 조기에 테스트하고 평가 예산을 제한하십시오.
📌 결론: 기업의 약 80%가 AI 에이전트를 사용하고 있지만, 대부분이 훈련 및 평가 비용을 예측하지 못해 심각한 예산 초과로 이어지고 있습니다. AI 에이전트는 도입 비용뿐만 아니라 평가에서 발생하는 ‘불확실한 승수’ 비용을 수반합니다. 기업들은 특히 LLM 채점과 인간의 검토가 필요할 때 테스트 비용에 충격을 받곤 합니다. 지속 가능한 접근법은 범위를 좁히고, 정답이 명확한 사례부터 시작하며, 전용 프레임워크를 사용하고, 미래의 브랜드 및 운영 리스크를 방지하기 위한 ‘필수 보험’으로 평가를 인식하는 것입니다.
