- Die ICLR 2026 (International Conference on Learning Representations) – die weltweit führende Konferenz für maschinelles Lernen – steckt in einem Schock, nachdem festgestellt wurde, dass 21% der eingereichten Peer-Reviews (Begutachtungen) vollständig von generativer KI verfasst wurden.
- Die Untersuchung wurde von Pangram Labs (New York) auf Aufforderung von Professor Graham Neubig (Carnegie Mellon University) durchgeführt, der vermutete, dass viele der von ihm erhaltenen Reviews Anzeichen von „halluzinierten Zitaten“ (hallucinated citations) aufwiesen und ausschweifende, bedeutungslose Antworten enthielten.
- Pangram scannte 19.490 Forschungsarbeiten und 75.800 Reviews, die bei der ICLR 2026 eingereicht wurden, mithilfe seines KI-Erkennungstools. Die Ergebnisse:
- 15.899 Reviews (≈21%) wurden vollständig von KI generiert.
- Über 50% der verbleibenden Reviews zeigten Anzeichen einer KI-unterstützten Bearbeitung.
- 199 Forschungsarbeiten (≈1%) werden verdächtigt, vollständig von KI geschrieben worden zu sein.
- 9% der Arbeiten hatten mehr als die Hälfte ihres Inhalts von KI generiert.
- Mehrere Forscher, wie Desmond Elliott (Universität Kopenhagen), bestätigten, dass die von ihnen erhaltenen Reviews fehlerhafte Daten, bizarre Formulierungen enthielten und den zentralen Forschungsschwerpunkt verfehlten – allesamt Merkmale von Antworten, die von großen Sprachmodellen (LLMs) generiert wurden.
- Das ICLR-Organisationskomitee unter der Leitung von Bharath Hariharan (Cornell University) kündigte an, automatisierte Tools zur Überprüfung des Missbrauchs von KI in Reviews und Einreichungen einzusetzen.
- Obwohl die ICLR die Verwendung von KI zur Sprachbearbeitung und zum Schreiben von experimentellem Code erlaubt, ist der Einsatz zum Verfassen akademischer Inhalte oder zur Offenlegung vertraulicher Informationen strengstens untersagt.
- Einige Autoren zogen ihre Einreichungen aufgrund irreführender Reviews zurück, während viele andere verwirrt sind, wie sie darauf reagieren sollen.
- Neubig räumte ein, dass das Review-System aufgrund der Vervielfachung der Einreichungszahlen in den letzten fünf Jahren „überlastet“ sei; jeder Reviewer müsse fünf Arbeiten in zwei Wochen lesen, was die Abhängigkeit von KI zu einem „einfachen Ausweg“ oder „Abkürzung“ mache.
- Pangram warnt davor, dass ihr Erkennungstool immer noch eine Rate an falsch positiven Ergebnissen aufweist, weshalb die Bearbeitung von Verstößen Vorsicht und Transparenz erfordert.
📌 Zusammenfassung: Die ICLR 2026 – die weltweit führende Konferenz für maschinelles Lernen – steht unter Schock, da 21% ihrer Peer-Reviews, was fast 16.000 Reviews entspricht, als vollständig von generativer KI verfasst entdeckt wurden. Die erhaltenen Reviews enthielten fehlerhafte Daten, bizarre Formulierungen und verfehlten den zentralen Forschungsschwerpunkt, was charakteristische Merkmale von Antworten sind, die von generativer KI generiert wurden.
