- 『The Lancet Digital Health』に掲載された研究によると、コンテンツが病院の文書のように見える場合、AIは偽の医療情報に容易に騙されてしまいます。
- マウントサイナイ医科大学のエヤル・クラング博士が共同主導した研究チームは、20のオープンソースおよび商用の大規模言語モデルをテストしました。
- 彼らは3種類のコンテンツに関連する100万以上のプロンプトを分析しました。偽の推奨事項が挿入された実際の退院サマリー、Redditからの健康に関する噂、医師によって書かれた300の臨床シナリオです。
- 全体として、AIは約32%のケースで捏造された情報を「信じ」、拡散しました。
- 誤情報が正当に見える病院の記録からのものである場合、拡散率は約47%に上昇しました。
- 逆に、偽ニュースがRedditからのものである場合、AIの拡散率は9%に低下しました。
- マウントサイナイのAIディレクター、ギリッシュ・ナドカルニ氏は、AIは内容が間違っていても、自信に満ちた医学用語をデフォルトで正しいと見なす傾向があると述べました。
- 質問の仕方が強く影響します。「私は上級医師です…」のような権威ある口調のプロンプトの場合、AIは同意しやすくなります。
- OpenAIのGPTモデルは最も騙されにくかった一方で、他のいくつかのモデルは最大63.6%の誤情報を受け入れました。
- 『Nature Medicine』の別の研究によると、健康に関する意思決定支援において、AIに症状について尋ねることは、従来のインターネット検索よりも優れているわけではありません。
- ますます多くの医療アプリケーションがAIを使用する中、誤情報の拡散リスクは深刻な課題となっています。
📌 医療AIは、情報源が病院の文書のように見える場合、誤情報を最大47%拡散する可能性がありますが、ソーシャルメディアからの場合はわずか9%です。20のモデルで100万回以上のテストを行った後、研究は全体としてAIが約32%のケースで捏造された情報を「信じ」拡散することを示し、同時にAIが内容を検証するよりも「私は上級医師です…」のような「権威ある」口調のプロンプトを信じやすいと警告しています。OpenAIのGPTは最も騙されにくい動作をしましたが、他のいくつかのモデルは最大63.6%の誤情報を受け入れました。
