Проблемы в визуальной и пространственной обработке данных, а также нехватка обучающих данных выявили удивительную неспособность систем ИИ ориентироваться во времени
Системы искусственного интеллекта правильно считывают время только в 38,7% случаев, а календари — только в 26,3% (Изображение предоставлено: Alamy)
Новое исследование выявило ещё один набор задач, с которыми большинство людей справляются с лёгкостью, а искусственный интеллект (ИИ) — нет. Это чтение показаний аналоговых часов или определение дня, на который приходится дата.
ИИ может писать код, генерировать реалистичные изображения, создавать текст, похожий на человеческий, и даже сдавать экзамены (с разной степенью успешности), но он регулярно неправильно интерпретирует положение стрелок на обычных часах и не справляется с базовой арифметикой, необходимой для определения календарных дат.
Исследователи выявили эти неожиданные недостатки в ходе презентации на Международной конференции по изучению представлений (ICLR) в 2025 году. Они также опубликовали свои выводы 18 марта на сервере препринтов arXiv, поэтому они ещё не прошли экспертную оценку.
«Большинство людей могут определять время и пользоваться календарями с раннего возраста. Наши результаты указывают на значительный пробел в способности ИИ выполнять то, что является базовыми навыками для людей», — сказал в своём заявлении ведущий автор исследования Рохит Саксена, исследователь из Эдинбургского университета. Эти недостатки необходимо устранить, если системы ИИ хотят успешно интегрировать в реальные приложения, требующие учёта времени, такие как планирование, автоматизация и вспомогательные технологии».
Чтобы изучить способность ИИ определять время, исследователи загрузили в различные мультимодальные большие языковые модели (MLLM) пользовательский набор данных с изображениями часов и календарей, которые могут обрабатывать как визуальную, так и текстовую информацию. В исследовании использовались следующие модели: Meta Llama 3.2-Vision, Anthropic Claude-3.5 Sonnet, Google Gemini 2.0 и OpenAI GPT-4o.
И результаты оказались неутешительными: более чем в половине случаев модели не могли определить точное время по изображению часов или день недели по дате.
Однако у исследователей есть объяснение неожиданно слабым способностям ИИ определять время.
«Ранние системы обучались на основе размеченных примеров. Для считывания показаний часов требуется нечто иное — пространственное мышление, — сказал Саксена. — Модель должна распознавать перекрывающиеся стрелки, измерять углы и ориентироваться в различных конструкциях, таких как римские цифры или стилизованные циферблаты. ИИ может распознать, что «это часы», но не может их прочитать».
С датами оказалось не проще. Когда ИИ-системам задавали вопрос «В какой день будет 153-й день в году?», процент ошибок был таким же высоким: системы ИИ правильно считывали время только в 38,7% случаев, а календари — только в 26,3%.
Этот недостаток также удивителен, потому что арифметика — это фундаментальная основа вычислений, но, как объяснил Саксена, ИИ использует нечто иное. «Арифметика проста для традиционных компьютеров, но не для больших языковых моделей. ИИ не выполняет математические алгоритмы, он прогнозирует результаты на основе закономерностей, которые видит в обучающих данных, — сказал он. Поэтому, хотя ИИ может иногда правильно отвечать на арифметические вопросы, его рассуждения непоследовательны и не основаны на правилах, и наша работа подчёркивает этот пробел».
Этот проект — последнее из растущего числа исследований, которые подчёркивают различия между тем, как ИИ «понимает» информацию, и тем, как это делают люди. Модели выводят ответы на основе знакомых шаблонов и преуспевают, когда в их обучающих данных достаточно примеров, но терпят неудачу, когда их просят обобщить или использовать абстрактное мышление.
«То, что для нас является очень простой задачей, например, посмотреть на часы, может быть для них очень сложным, и наоборот», — сказал Саксена.
Исследование также показывает, с какими проблемами сталкивается ИИ, когда обучается на ограниченных данных — в данном случае на сравнительно редких явлениях, таких как високосные годы или непонятные календарные расчёты. Несмотря на то, что у LLM есть множество примеров, объясняющих високосные годы как концепцию, это не означает, что они устанавливают необходимые связи, необходимые для выполнения визуальной задачи.
Исследование подчёркивает как необходимость более целенаправленных примеров в обучающих данных, так и необходимость переосмыслить то, как ИИ обрабатывает сочетание логических и пространственных рассуждений, особенно в задачах, с которыми он нечасто сталкивается.
Прежде всего, это показывает, что есть ещё одна область, в которой слишком большое доверие к результатам работы ИИ может быть опасным.
«ИИ обладает мощными возможностями, но когда задачи сочетают в себе восприятие и точные расчёты, нам всё равно требуется тщательное тестирование, резервная логика и во многих случаях участие человека», — сказал Саксена.