Исследователи утверждают, что инструменты искусственного интеллекта (ИИ) «с трудом справляются с элементарными процедурами визита к врачу».
Предыдущие исследования показали, что системы ИИ могут помочь медицинским работникам успешно собирать истории болезней, ставить предварительные диагнозы и проводить сортировку пациентов. Однако ученые из Гарвардской медицинской школы и Стэнфордского университета обнаружили, что инструменты ИИ неэффективны в ситуациях, которые более точно имитируют реальный мир.
В ходе исследования группа ученых создала тест под названием «Структура оценки разговорного мышления для тестирования в медицине» (CRAFT-MD).
После разработки они применили тест на четырех больших языковых моделях, чтобы изучить эффективность ИИ в клинических условиях. Они обнаружили, что четыре модели с большим количеством языков хорошо справились с вопросами в стиле медицинского экзамена, но не так хорошо, когда они участвовали в разговорах, более точно имитирующих взаимодействие в реальном мире.
Авторы заявили:
«Этот пробел подчеркивает двойную потребность: во-первых, в создании более реалистичных оценок, которые лучше измеряют пригодность клинических моделей ИИ для использования в реальном мире, и, во-вторых, в улучшении способности этих инструментов ставить диагнозы на основе более реалистичных взаимодействий до их внедрения в клинику. Инструменты оценки, такие как CRAFT-MD, могут не только более точно оценивать модели ИИ с точки зрения их пригодности к реальным условиям, но и могут помочь оптимизировать их работу в клинических условиях».
Первый автор, профессор Пранав Раджпуркар, сказал:
«Наша работа раскрывает поразительный парадокс: хотя эти модели ИИ отлично сдают экзамены на медицинском факультете, им трудно справиться с элементарными процедурами визита к врачу. Динамичный характер медицинских бесед — необходимость задавать правильные вопросы в правильное время, собирать воедино разрозненную информацию и осмысливать симптомы — создает уникальные проблемы, которые выходят далеко за рамки ответов на вопросы с несколькими вариантами ответов».
Профессор Раджпуркар добавил:
«Когда мы переходим от стандартизированных тестов к этим естественным разговорам, даже самые сложные модели ИИ демонстрируют значительное снижение точности диагностики».
Исследователи показали, что в настоящее время модели ИИ оцениваются путем предоставления им ответов на медицинские вопросы с несколькими вариантами ответов.
Соавтор Шрея Джохри отметила:
«Этот подход предполагает, что вся необходимая информация представлена четко и кратко, часто с использованием медицинской терминологии или модных словечек, которые упрощают процесс диагностики, но в реальном мире этот процесс гораздо более запутан. Нам нужна система тестирования, которая лучше отражает реальность и, следовательно, лучше прогнозирует, насколько хорошо будет работать модель».
Соавтор, профессор Роксана Данешджоу, отметила:
«Как ученый-врач, я интересуюсь моделями ИИ, которые могут эффективно и этично дополнить клиническую практику. CRAFT-MD создает структуру, которая более точно отражает взаимодействие в реальном мире, и, таким образом, помогает продвинуться вперед в области тестирования эффективности моделей ИИ в здравоохранении».
Исследование было опубликовано в журнале Nature Medicine.
