- Исследование, опубликованное в The Lancet Digital Health, показывает, что ИИ легко ввести в заблуждение ложной медицинской информацией, если контент выглядит как больничная документация.
- Исследовательская группа под совместным руководством доктора Эяля Кланга из Медицинской школы Икана на горе Синай протестировала 20 открытых и коммерческих больших языковых моделей.
- Они проанализировали более 1 миллиона промптов, связанных с 3 типами контента: реальные выписные эпикризы со вставленными ложными рекомендациями, слухи о здоровье с Reddit и 300 клинических сценариев, написанных врачами.
- В целом, ИИ «верил» и распространял сфабрикованную информацию примерно в 32% случаев.
- Когда дезинформация поступала из больничных записей, которые выглядели легитимными, уровень распространения возрастал почти до 47%.
- Напротив, если фейковые новости исходили из Reddit, уровень распространения ИИ падал до 9%.
- Директор по ИИ в Маунт-Синай Гириш Надкарни заявил, что ИИ имеет тенденцию по умолчанию считать уверенный медицинский язык правильным, независимо от ложности содержания.
- То, как задаются вопросы, оказывает сильное влияние: когда промпт имеет авторитетный тон, например «Я старший врач…», ИИ с большей вероятностью согласится.
- Модели GPT от OpenAI оказались наименее подвержены обману, в то время как некоторые другие модели с готовностью принимали до 63,6% ложной информации.
- Другое исследование в Nature Medicine показывает, что спрашивать ИИ о симптомах не лучше, чем традиционный поиск в интернете для поддержки принятия решений о здоровье.
- В контексте того, что все больше медицинских приложений используют ИИ, риск распространения дезинформации становится серьезной проблемой.
📌 Медицинский ИИ может распространять дезинформацию в 47% случаев, когда источник выглядит как больничная документация, по сравнению с лишь 9%, если источник — социальные сети. После более чем 1 миллиона тестов на 20 моделях исследование показало, что в целом ИИ «верит» и распространяет сфабрикованную информацию примерно в 32% случаев, предупреждая также, что ИИ с большей вероятностью поверит промптам с «авторитетным» тоном, таким как «Я старший врач…», чем проверит контент. GPT от OpenAI показал себя как наименее подверженный обману, в то время как некоторые другие модели принимали до 63,6% ложной информации.
