Алгоритм против живого языка: почему медицинские ИИ ошибаются

Представьте ситуацию: вы чувствуете что-то тревожное, быстро открываете чат-бота и набираете текст, чтобы узнать, что с вами. Но из-за ошибки в слове или немного неформального тона — ИИ советует не обращаться к врачу. И это не выдумка, а результат исследования. Речь идет не просто о технологическом сбое — это уже вопрос безопасности, а иногда даже справедливости.

Медицинские чат-боты: форма важнее содержания

Недавний анализ, проведенный исследователями из MIT, показал, что медицинские чат-боты на базе искусственного интеллекта склонны менять свои рекомендации в зависимости от того, как именно написано сообщение пользователя.

Нет, не содержание жалобы, а форма. Ошибки, молодежный сленг, мелкие неточности — даже лишний восклицательный знак — могут заставить ИИ "передумать" и посоветовать не идти к врачу. В среднем такие варианты встречались на 7–9% чаще, чем при стандартном тексте. Это существенно, учитывая, что эти модели все чаще используются в больницах — для назначения приемов или ответов на типичные вопросы пациентов.

Как проходило исследование

Ученые подготовили тысячи вариантов сообщений — часть взяли из медицинских баз данных, часть из Reddit, а некоторые создали сами. Жалобы были одинаковы по содержанию, но несколько отличались в подаче. Например:

• текст был написан только строчными буквами;
• использовались гендерно нейтральные слова;
• встречались неформальные обращения или разговорные обороты;
• добавлялись условные "отвлекающие" элементы, типа двух восклицательных знаков или пропущенного пробела.

А дальше все просто: те же симптомы — но совершенно разные ответы. В одних случаях советовали обратиться к врачу, в других — справиться самостоятельно.

Модели, которые участвовали в тесте — GPT-4 от OpenAI, LLaMA-3-70b от Meta и специализированная Palmyra-Med. Их проверили на прочность — и, как видно, нашли слабое место.

Почему ИИ реагирует на форму, а не содержание

Объяснение довольно простое. Большинство таких моделей обучают по академическим текстам: медицинские журналы, учебники, стандартизированные клинические инструкции. И когда перед ними — живой, немного хаотичный язык реального человека — они могут просто "растеряться". Не распознать важное. Не понять, что написано.

Но есть еще более тревожная часть: гендерные перекосы.

Исследователи заметили, что женщинам чаще советовали не обращаться за медицинской помощью, чем мужчинам — даже когда их жалобы были идентичны. Это выглядит как повторение той же проблемы, которая существует в реальной медицине: когда симптомы женщин воспринимаются менее серьезно или считаются "эмоциональными". Теперь это рискует перекочевать в цифровой мир.

Что говорят сами ученые

Одна из соавторов, Марзие Гассеми, отметила, что прежде чем использовать такие системы в больницах, их нужно тщательно проверить. Но процесс сложный — модели работают с огромными объемами данных и порой воспроизводят не только знания, но и предубеждения. Или даже усиливают их.

Медицина — не та сфера, где можно полагаться на "почти точность" или "общее понимание". Когда здоровье человека зависит от одного ответа, любой сбой — это уже риск. И если технологии не умеют видеть всех одинаково — это вопрос, который нельзя оставлять без ответа.