Исследование: советы ИИ могут снижать точность ответов и усиливать самоуверенность

ЕРЕВАН, 20 июля. /АРКА/. Доступ к заведомо ненадёжным подсказкам искусственного интеллекта снизил точность ответов участников эксперимента и одновременно повысил их уверенность в своей правоте. К такому выводу пришли исследователи из университетов Франции и Италии.

Результаты работы опубликованы в виде препринта на платформе arXiv и пока не представлены как прошедшие независимое научное рецензирование.

Авторы провели пять экспериментов с участием 3 132 человек. Участникам предлагали ответить на шесть сложных вопросов о малозаметных визуальных деталях фильмов, при этом они могли отказаться от ответа, указав, что не знают его.

Вопросы были специально подобраны таким образом, чтобы использованная в эксперименте модель Step 3.5 Flash почти всегда давала ошибочные ответы. Исследователи подчёркивают, что целью работы была не оценка общей точности ИИ-систем, а изучение реакции людей на доступность правдоподобно звучащего, но ненадёжного совета.

В условиях без денежного вознаграждения доля правильных ответов среди участников, не имевших доступа к ИИ, составила 27,5%, а среди получавших подсказки — 9,2%. Средний показатель уверенности при этом вырос с 29,6 до 75,9 пункта.

В одном из экспериментов участники без доступа к ИИ отказывались отвечать из-за неуверенности в 44% случаев. При наличии возможности запросить подсказку этот показатель снизился до 3%.

Денежное вознаграждение за правильные ответы и штраф за ошибочные частично улучшили результаты: участники реже обращались к ИИ и чаще отвечали правильно. Однако готовность признавать отсутствие знаний оставалась заметно ниже, чем в группах без ИИ-подсказок.

Авторы отмечают, что результаты нельзя автоматически переносить на ситуации, в которых ИИ предоставляет преимущественно достоверные рекомендации. Это ограничение требует дальнейшего изучения.