Исследователи обнаружили, что ИИ выравнивает колоколообразную кривую, характерную для распространённого в психологии человека эффекта Даннинга — Крюгера, создавая у всех нас иллюзию компетентности.
Исследования показали, что использование ИИ даёт нам ложное чувство уверенности. (Изображение предоставлено Матти Альгреном / Университет Аалто)
Когда нас просят оценить, насколько хорошо мы что-то делаем, мы, как правило, даём совершенно неверную оценку. Это универсальная человеческая склонность, которая наиболее ярко проявляется у людей с низким уровнем способностей. Это явление, названное эффектом Даннинга — Крюгера в честь психологов, которые впервые его изучили, означает, что люди, которые не очень хорошо справляются с поставленной задачей, чрезмерно самоуверенны, в то время как люди с высокими способностями склонны недооценивать свои навыки. Это часто выявляется с помощью когнитивных тестов, которые содержат задания для оценки внимания, способности принимать решения, рассудительности и языковых навыков.
Но теперь учёные из финского Университета Аалто (совместно с коллегами из Германии и Канады) обнаружили, что использование искусственного интеллекта (ИИ) практически устраняет эффект Даннинга — Крюгера, а на самом деле даже обращает его вспять.
Их исследование показало, что при использовании обычных чат-ботов для решения задач все (независимо от уровня их навыков) склонны слишком сильно полагаться на качество ответов, причём больше всего этим грешат самые опытные пользователи ИИ. Команда опубликовала результаты своего исследования в февральском выпуске журнала Computers in Human Behavior за 2026 год.
По мере того как мы все становимся более подкованными в вопросах ИИ благодаря распространению больших языковых моделей (БЯМ), исследователи ожидали, что участники не только будут лучше взаимодействовать с системами ИИ, но и смогут лучше оценивать свою эффективность при их использовании. «Вместо этого наши результаты показывают, что участники в равной степени не способны точно оценивать свою эффективность при использовании ИИ», — Робин Уэлш, специалист по информатике из Университета Аалто, соавтор отчёта, сказал в заявлении.
Сглаживание кривой
В ходе исследования учёные предложили 500 испытуемым задания на логическое мышление из вступительного экзамена в юридическую школу, при этом половине из них разрешили использовать популярный чат-бот с искусственным интеллектом ChatGPT. Позже обеим группам задали вопросы об их грамотности в области ИИ и о том, насколько хорошо, по их мнению, они справились с заданиями. Участникам пообещали дополнительное вознаграждение, если они точно оценят свои результаты.
Причины, лежащие в основе полученных результатов, разнообразны. Поскольку пользователи ИИ обычно довольствовались ответом, полученным всего после одного вопроса или подсказки, и принимали его без дополнительной проверки или подтверждения, можно сказать, что они прибегали к тому, что Уэлш называет «когнитивной разгрузкой», то есть рассматривали вопрос поверхностно и без особых раздумий.
Меньшая вовлечённость в собственные рассуждения — так называемый «метакогнитивный мониторинг» — означает, что мы обходим стороной привычные циклы обратной связи в критическом мышлении, что снижает нашу способность точно оценивать свою эффективность.
Ещё более показательным оказался тот факт, что мы все переоцениваем свои способности при использовании ИИ, независимо от уровня нашего интеллекта, а разрыв между пользователями с высоким и низким уровнем навыков сокращается. Авторы исследования объясняют это тем, что большие языковые модели в той или иной степени помогают всем работать лучше.
Хотя исследователи не упоминали об этом напрямую, их открытие появилось в то время, когда учёные задают вопрос, не слишком ли подхалимски ведут себя обычные большие языковые модели. Команда из Аалто предупредила о нескольких возможных последствиях распространения ИИ.
Во-первых, может пострадать метакогнитивная точность в целом. Поскольку мы больше полагаемся на результаты, не подвергая их тщательному анализу, возникает компромиссное решение, при котором эффективность работы пользователя повышается, но снижается понимание того, насколько хорошо мы справляемся с задачами. По словам учёных, без анализа результатов, проверки на наличие ошибок или более глубокого осмысления мы рискуем утратить способность получать достоверную информацию.
Более того, сглаживание эффекта Даннинга — Крюгера будет означать, что мы все будем продолжать переоценивать свои способности при использовании ИИ, а те из нас, кто лучше разбирается в ИИ, будут делать это ещё чаще. Это приведёт к увеличению количества необдуманных решений и снижению квалификации.
Один из методов, предложенных в исследовании для предотвращения такого снижения, заключается в том, чтобы ИИ сам побуждал пользователей задавать дополнительные вопросы, а разработчики переориентировали ответы на поощрение размышлений — буквально задавали вопросы вроде «Насколько вы уверены в этом ответе?» или «Что вы могли упустить?» — или иным образом стимулировали дальнейшее взаимодействие с помощью таких показателей, как уровень уверенности.
Новое исследование подтверждает растущую уверенность в том, что, как недавно заявило Королевское общество недавно заявило, обучение ИИ должно включать в себя развитие критического мышления, а не только технических навыков. «Мы… предлагаем рекомендации по разработке интерактивных систем ИИ для улучшения метакогнитивного мониторинга, предоставляя пользователям возможность критически оценивать свою работу», — заявили учёные.