Badanie w Izraelu: AI zalecała zbędne USG w 42,8% odpowiedzi — Jerusalem Post
Naukowcy z izraelskiego Uniwersytetu Ben-Guriona w Beer Szewie oraz Clalit Health Services przetestowali sześć dużych modeli językowych Google, Anthropic i OpenAI na scenariuszach klinicznych. Jak informuje Jerusalem Post, modele na ogół rozpoznawały, kiedy badania lub leczenie nie były potrzebne, ale częściej popełniały błędy w sytuacjach, w których społeczność medyczna nie ma jednolitego stanowiska.
Scenariusze do testów
Recenzowane badanie opublikowano w czasopiśmie Annals of Internal Medicine. Autorzy stworzyli scenariusze na podstawie 15 zaleceń międzynarodowej inicjatywy Choosing Wisely, której celem jest ograniczenie medycznych interwencji o niskiej wartości.
Dla każdego zalecenia przygotowano 15 sytuacji: dziesięć przypadków, w których należało powstrzymać się od interwencji, oraz pięć, w których była ona medycznie uzasadniona. Naukowcy przeanalizowali tysiące odpowiedzi modeli. Przykładowo, badanie obrazowe nie jest potrzebne młodemu mężczyźnie z ostrym bólem krzyża po przenoszeniu mebli, ale może być konieczne u kobiety z rakiem piersi w wywiadzie i nowym nocnym bólem pleców.
Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.
Gdzie modele najczęściej popełniały błędy
Gdy interwencja była wskazana, modele błędnie zalecały powstrzymanie się od pomocy w 0,6% przypadków, twierdzą autorzy. Jeśli test lub leczenie były wyraźnie niepotrzebne, systemy zalecały je w 5,4% odpowiedzi. W ośmiu z 15 sprawdzonych zaleceń modele w ogóle nie zaleciły żadnej zbędnej procedury.
Najwięcej błędów dotyczyło dwóch niejednoznacznych obszarów. W 28,3% odpowiedzi modele proponowały niepotrzebne badanie elektrokardiograficzne, głównie gdy pacjenci zgłaszali kołatanie serca. W 42,8% odpowiedzi popierały również zbędne badanie ultrasonograficzne małych, przypadkowo wykrytych guzków. Badacze powiązali to z różnicami w podejściu Amerykańskiego Towarzystwa Tarczycowego i Amerykańskiego Kolegium Radiologii do potrzeby obrazowania takich guzków.
Modele testowano wyłącznie w języku angielskim. Badacze podkreślili, że przed wykorzystaniem takich systemów w gabinecie lekarskim potrzebne są dalsze badania kliniczne i zabezpieczenia, a ostateczna odpowiedzialność za decyzję medyczną musi pozostać po stronie lekarza.
