ИИ-ассистенты врачей ошибаются в названиях лекарств и диагнозах в медицинских картах NHS

Одному пациенту в Англии сообщили, что у него обнаружена демиелинизация — повреждение нервов, которое лежит в основе таких заболеваний, как рассеянный склероз. В результатах анализа на самом деле было написано «демиелинизация отсутствует» («null demyelination»), но ИИ-помощник пропустил слово, полностью исказив смысл на противоположный.

Этот случай приводится в предупреждении Healthwatch England, официального органа по защите прав пациентов, о котором сегодня сообщила газета The Guardian. Организация пришла к выводу, что инструменты, которые сейчас расшифровывают консультации врачей общей практики и больничных докторов, допускают ошибки в названиях препаратов и диагнозах, и чаще всего это замечают сами пациенты.

В настоящее время в системе здравоохранения Англии используется 27 различных ИИ-стенографистов. Они присутствуют в кабинете врача, прослушивают беседу и создают запись, которая попадает в медицинскую карту, а также письмо, отправляемое пациенту.

Ошибки, зафиксированные надзорным ведомством, имеют банальную форму, но серьезные последствия. Один ИИ-помощник заменил назначенный препарат на другой, с похожим названием — именно с таким видом путаницы фармакология борется с помощью титанических усилий.

В другой сводке было пропущено указание консультанта о том, что пациенту следует получить повторный рецепт на лекарство от мигрени. В третьем было зафиксировано, что врач велел пациенту продолжать принимать Прозак, хотя врач этот препарат не выписывал и даже не обсуждал.

Общая черта всех этих случаев заключается в том, что внешне все выглядело безупречно. Связная, правдоподобная запись — это как раз то, что производят подобные системы, и именно поэтому ошибка ускользает при беглом взгляде занятого клинициста перед подписанием документа.

«Эти неточности могут закрепиться в медицинских картах, если пациент их не заметит», — предупредило ведомство. Получается, что последним рубежом обороны оказывается человек, наименее подготовленный к тому, чтобы знать, как именно должна была выглядеть эта запись.

Рэйчел Пауэр, исполнительный директор Ассоциации пациентов (Patients Association), наряду с такими клиницистами, как лондонский терапевт Шьер Зизер Давуд и Шарлотта Близ из Уппсальского университета в Швеции, выражает серьезную обеспокоенность. Возражения направлены не столько против самой технологии, сколько против ее внедрения в отсутствие какой-либо системы безопасности.

В Англии отсутствует общенациональный надзор за этими инструментами. Агентство по регулированию лекарственных средств и медицинских изделий (MHRA) не классифицировало ИИ-стенографистов как медицинские устройства, что выводит их за рамки режима, который проверял бы их на безопасность и эффективность перед внедрением.

Регулятор действительно опубликовал в августе руководство, проясняющее границы дозволенного. Система, которая лишь расшифровывает сказанное, не является медицинским устройством, в то время как система, предлагающая диагноз или лечение, вполне может им быть. Это возлагает огромную ответственность на то, как именно каждый продукт описывается его разработчиком.

Стимулы в такой ситуации вполне очевидны. Продукт, продаваемый как пассивный транскрибатор, позволяет избежать регуляторных процедур, которые пришлось бы проходить программе, позиционируемой как клинический ассистент.

Ошибка распознавания речи — это также принципиально иной сбой по сравнению с теми рисками, к которым готовится большинство специалистов по безопасности ИИ. Никто здесь не был введен в заблуждение вымышленным фактом: реальное предложение было передано с небольшой неточностью, а небольшой погрешности вполне достаточно, когда в предложении фигурирует название лекарства.

При этом ничто из вышеперечисленного не объясняет, почему эти инструменты распространяются столь стремительно. Ведение медицинской документации — это административная нагрузка, на которую врачи жалуются больше всего, и система, которая надежно экономит час печатания в день, будет внедрена вне зависимости от того, проводил ли кто-либо ее оценку.

Проблема кроется в том, что происходит между этими двумя фактами. Инструмент, внедренный ради скорости, непроверенный из-за особенностей своей классификации и создающий документ, который становится постоянной медицинской картой — это цепь, в которой ни одно отдельное звено очевидно не является ничьей ответственностью.

Решение, на которое указывает надзорное ведомство, выглядит неброско, но, вероятно, является единственно верным. Пациентов следует предупреждать об использовании ИИ-ассистента и давать им возможность проверять свои записи, превращая случайный предохранитель в осознанный механизм безопасности.

Двадцать семь продуктов, отсутствие статуса медицинского изделия и проверка, которую осуществляет тот, кому довелось внимательно прочитать свое письмо — такова текущая реальность в системе здравоохранения Англии.