- 세계 최고의 머신러닝 콘퍼런스인 **ICLR 2026(국제 학습 표현 콘퍼런스)**이 제출된 동료 심사(peer review)의 **21%**가 생성형 AI에 의해 전적으로 작성된 것으로 밝혀져 충격에 휩싸였습니다.
- 이 조사는 카네기 멜런 대학교의 그레이엄 노이비그(Graham Neubig) 교수의 요청에 따라 뉴욕의 Pangram Labs에서 수행되었습니다. 노이비그 교수는 자신이 받은 많은 심사에서 “환각적 인용(hallucinated citations)” 및 장황하고 무의미한 응답의 징후를 발견하고 의심했습니다.
- Pangram은 AI 감지 도구를 사용하여 ICLR 2026에 제출된 19,490편의 연구 논문과 75,800개의 심사를 스캔했습니다. 결과는 다음과 같습니다.
- 15,899개의 심사(≈21%)가 AI에 의해 완전히 생성되었습니다.
- 나머지 50% 이상은 AI의 보조 편집 흔적을 보였습니다.
- 199편의 연구 논문(≈1%)이 AI에 의해 전적으로 작성된 것으로 의심됩니다.
- 9%의 논문은 내용의 절반 이상이 AI에 의해 생성되었습니다.
- 코펜하겐 대학교의 데스몬드 엘리엇(Desmond Elliott)과 같은 여러 연구자들은 자신들이 받은 심사에 부정확한 데이터, 기이한 표현이 포함되어 있고 연구의 핵심을 놓치고 있음을 확인했습니다. 이는 대규모 언어 모델(LLM)에 의해 생성된 응답의 특징입니다.
- 코넬 대학교의 바라트 하리하란(Bharath Hariharan)이 이끄는 ICLR 조직위원회는 심사 및 제출물에서 AI 남용을 검증하기 위한 자동화 도구를 구현할 것이라고 밝혔습니다.
- ICLR은 AI를 언어 편집 및 실험 코드 작성에 사용하는 것은 허용하지만, 학술 콘텐츠 초안 작성이나 기밀 정보 공개에는 엄격히 금지하고 있습니다.
- 일부 저자는 오해의 소지가 있는 심사를 받아 논문 제출을 철회했으며, 많은 다른 사람들은 어떻게 응답해야 할지 혼란스러워하고 있습니다.
- 노이비그 교수는 지난 5년간 제출 수가 몇 배로 증가하여 심사 시스템이 “과부하”되었다고 인정했습니다. 각 심사자는 2주 동안 5편의 논문을 읽어야 하므로 AI에 의존하는 것이 “손쉬운 지름길”이 되었다는 것입니다.
- Pangram은 감지 도구에 여전히 오탐(false positives) 비율이 있으므로, 위반 사항 처리에는 신중함과 투명성이 필요하다고 경고합니다.
📌 요약: 세계 최고의 머신러닝 콘퍼런스인 ICLR 2026은 **21%**의 동료 심사(거의 1만 6천 건에 해당)가 생성형 AI에 의해 전적으로 작성된 것으로 밝혀져 충격에 빠졌습니다. 받은 심사에는 부정확한 데이터, 기이한 표현, 연구 핵심 누락이 포함되어 있었으며, 이는 생성형 AI가 생성한 응답의 특징입니다.
