Эффективность и безопасность больших языковых моделей на основе искусственного интеллекта в качестве инструмента поддержки принятия решений в герниологии: оценка экспертами и общими хирургами

Аннотация:

Цель исследования. Оценить качество рекомендаций языковой модели (ЯМ) ChatCPT по лечению паховой грыжи. Материал и методы. ChatGPT было задано 5 вопросов о хирургическом лечении паховых грыж. Чат-боту отведена роль эксперта в области герниологии и предложено провести поиск только в специализированных медицинских базах данных, предоставив информацию об источниках и уровне их доказательности. Эксперты в области герниологии и общие хирурги (не эксперты) оценили качество рекомендаций, полученных с помощью ChatGPT, по 4-балльной шкале (от 0 до 3 баллов). Изучены статистические закономерности между оценками респондентов и их мнением относительно перспектив использования искусственного интеллекта. Результаты. Качество ответов ChatGPT экспертами оценено ниже (2 [1—2] балла), чем не экспертами (2 [2—3]), (р<0,001). Чат-бот не справился с предоставлением достоверных ссылок на источники и указанием уровня доказательности, а также сфальсифицировал половину приведенных ссылок. Респонденты с оптимизмом смотрят на будущее нейросетей как инструмента принятия клинических решений; большинство из них выступают против ограничения их использования в здравоохранении. Заключение. Основываясь на результатах данного исследования, в настоящее время нельзя рекомендовать применение неспециализированных ЯМ в качестве единственного или основного источника информации для принятия решения или виртуального помощника по поиску медицинской информации.

Авторы:

Издание: Хирургия
Год издания: 2024
Объем: 9с.
Дополнительная информация: 2024.-N 8.-С.6-14. Библ. 27 назв.
Просмотров: 1