Neue Forschung: KI glaubt falschen medizinischen Nachrichten eher, wenn die Quelle „offiziell“ aussieht

• In The Lancet Digital Health veröffentlichte Forschungsergebnisse zeigen, dass KI leicht durch falsche medizinische Informationen getäuscht werden kann, wenn der Inhalt wie Krankenhausdokumentation aussieht.
• Das Forschungsteam unter der gemeinsamen Leitung von Dr. Eyal Klang von der Icahn School of Medicine am Mount Sinai testete 20 Open-Source- und kommerzielle große Sprachmodelle.
• Sie analysierten über 1 Million Prompts im Zusammenhang mit 3 Arten von Inhalten: echte Entlassungsberichte mit eingefügten falschen Empfehlungen, Gesundheitsgerüchte von Reddit und 300 von Ärzten verfasste klinische Szenarien.
• Insgesamt „glaubte“ und verbreitete die KI in etwa 32 % der Fälle fabrizierte Informationen.
• Wenn Fehlinformationen aus Krankenhausnotizen stammten, die legitim aussahen, stieg die Verbreitungsrate auf fast 47 %.
• Kamen die Falschnachrichten hingegen von Reddit, sank die Verbreitungsrate der KI auf 9 %.
• Der KI-Direktor von Mount Sinai, Girish Nadkarni, erklärte, dass KI dazu neigt, selbstbewusste medizinische Sprache standardmäßig als korrekt anzunehmen, unabhängig vom falschen Inhalt.
• Die Art der Fragestellung hat einen starken Einfluss: Wenn ein Prompt einen autoritären Ton wie „Ich bin ein leitender Arzt…“ anschlägt, stimmt die KI eher zu.
• Die GPT-Modelle von OpenAI ließen sich am wenigsten täuschen, während einige andere Modelle bis zu 63,6 % der falschen Informationen akzeptierten.
• Eine andere Studie in Nature Medicine zeigt, dass das Befragen von KI zu Symptomen zur Unterstützung von Gesundheitsentscheidungen nicht besser ist als die traditionelle Internetsuche.
• Da immer mehr medizinische Anwendungen KI nutzen, wird das Risiko der Verbreitung von Fehlinformationen zu einer ernsthaften Herausforderung.

📌 Medizinische KI kann Fehlinformationen zu 47 % verbreiten, wenn die Quelle wie Krankenhausdokumentation aussieht, verglichen mit nur 9 %, wenn sie aus sozialen Medien stammt. Nach mehr als 1 Million Tests an 20 Modellen zeigt die Studie, dass KI insgesamt in etwa 32 % der Fälle fabrizierte Informationen „glaubt“ und verbreitet, und warnt davor, dass KI Prompts mit einem „autoritären“ Ton wie „Ich bin ein leitender Arzt…“ eher glaubt, als den Inhalt zu überprüfen. GPT von OpenAI schnitt als am wenigsten getäuscht ab, während einige andere Modelle bis zu 63,6 % der falschen Informationen akzeptierten.