Искусственный интеллект ошибается в медицинских ответах почти в половине случаев
Исследование BMJ Open выявило, что популярные чат-боты дают неточные данные по здоровью, что может усугубить распространение ложной информации без контроля и просвещения.
Популярные чат-боты на основе искусственного интеллекта дают неверные ответы на медицинские вопросы примерно в половине случаев. Исследование, опубликованное в научном журнале BMJ Open, показало, что из 250 ответов почти 50% содержали искажения фактов.
В работе проанализировали пять моделей: Gemini, DeepSeek, Meta AI, ChatGPT и Grok. Каждому из них задали по десять вопросов на темы онкологии, вакцинации, стволовых клеток, питания и физической активности. Ответы оценивали учёные из США, Канады и Великобритании.
Результаты оказались тревожными: 30% ответов были слегка неточными, а 19% — содержали значительные ошибки. Особенно плохо справлялась модель Grok, которая выдавала больше всего грубых ошибок. Наиболее достоверные ответы чат-боты давали по вакцинации и раку, а хуже всего — по вопросам питания.
При этом все системы почти всегда отвечали с высокой уверенностью, отказавшись отвечать только дважды из 250 попыток. Отдельной проблемой стало отсутствие корректных источников: ни один чат-бот не смог предоставить достоверный список ссылок, часто придумывая их самостоятельно.
Тексты ответов были сложны для восприятия и соответствовали уровню материалов для студентов второго курса университета. Исследователи предупреждают: «Проверенные чат-боты показали неудовлетворительные результаты при ответах на вопросы из областей здоровья и медицины, подверженных распространению ложной информации. Дальнейшее применение без общественного просвещения и надзора может усилить степень распространения ложной информации».