Исследование в Израиле: ИИ рекомендовал ненужное УЗИ в 42,8% ответов — Jerusalem Post
Исследователи из израильского Университета Бен-Гуриона в Беэр-Шеве и Clalit Health Services проверили шесть больших языковых моделей от Google, Anthropic и OpenAI на клинических сценариях. Как сообщает Jerusalem Post, модели в основном определяли, когда обследования или лечение не нужны, но чаще ошибались в ситуациях, по которым у медицинского сообщества нет единой позиции.
Сценарии для проверки
Рецензируемое исследование опубликовали в журнале Annals of Internal Medicine. Авторы создали сценарии на основе 15 рекомендаций международной инициативы Choosing Wisely, направленной на сокращение медицинских вмешательств с низкой ценностью.
Для каждой рекомендации подготовили 15 ситуаций: десять случаев, когда следовало воздержаться от вмешательства, и пять, когда оно было медицински обоснованным. Ученые проанализировали тысячи ответов моделей. Например, визуализация не нужна молодому мужчине с острой болью в пояснице после переноса мебели, но может быть необходима женщине с раком молочной железы в анамнезе и новой ночной болью в спине.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Где модели чаще всего ошибались
Когда вмешательство было показано, модели ошибочно рекомендовали воздержаться от помощи в 0,6% случаев, утверждают авторы. Если тест или лечение были явно не нужны, системы советовали их в 5,4% ответов. В восьми из 15 проверенных рекомендаций модели вообще не посоветовали ни одной лишней процедуры.
Больше всего ошибок пришлось на два неоднозначных направления. В 28,3% ответов модели предлагали ненужную электрокардиограмму, преимущественно когда пациенты сообщали о сердцебиении. В 42,8% ответов они также поддерживали ненужное ультразвуковое исследование небольших случайно выявленных узлов. Исследователи связали это с различиями в подходах Американской тиреоидной ассоциации и Американского колледжа радиологии к необходимости визуализации таких узлов.
Модели тестировали только на английском языке. Исследователи подчеркнули, что перед использованием таких систем в кабинете врача необходимы дальнейшие клинические исследования и меры защиты, а окончательная ответственность за медицинское решение должна оставаться за врачом.
