Японская головоломка победила искусственный интеллект. Машина совершенно неспособна её решить.

Числовые головоломки – это увлекательное занятие, известное уже тысячелетия: впервые они появились в Древнем Китае, а в конце XIX века начали появляться в газетах. Судоку приобрело мировую популярность около 20 лет назад, когда головоломка была впервые опубликована в 1986 году в японском журнале «Nicoli». Сегодня у игры миллионы поклонников по всему миру, а различные версии одного только мобильного приложения скачали около 200 миллионов пользователей.

Судоку заключается в заполнении пустых клеток сетки размером 9x9 цифрами. Каждая строка, столбец и квадрат 3x3 (так называемый числовой блок), на которые разделена сетка, должны содержать одну цифру от 1 до 9, причём цифры не должны повторяться. Математики из Шеффилдского университета (Великобритания) в 2005 году доказали, что существует около 6 квадриллионов возможных правильных сеток судоку (6 x 10 в 21-й степени). Существуют и другие версии игры, например, сетка размером 6x6 должна быть заполнена цифрами от 1 до 6.

Теперь выясняется, что судоку представляет собой серьёзную проблему для искусственного интеллекта. Хотя ИИ добился огромного прогресса, в частности, в анализе больших объёмов данных, генерации текста, изображений и видео, а также в переводе, логические задачи остаются его слабым местом. Это подтвердили исследователи из Университета Колорадо в Боулдере (США) , чья статья на эту тему была опубликована в «Антологии ACL» — сборнике из более чем 110 000 статей, собранных Ассоциацией компьютерной лингвистики (ACL).

Как отметил ведущий автор статьи, эксперт в области компьютерных наук и машинного обучения Анирудх Майя, решение судоку состоит из нескольких важных элементов.

«Нужно действовать шаг за шагом, постоянно переоценивать числовые поля и последовательно следовать правилам. Подобные головоломки увлекательны, но они также представляют собой идеальную модель для изучения процесса принятия решений в машинном обучении», — пояснил эксперт.

Для исследования Майя и его команда создали 2300 головоломок судоку разной сложности в сетке 6x6. Затем исследователи применили к ним несколько больших языковых моделей (LLM), включая o1, Llama-3.1, Gemma-2 и Mistral, для их решения.

Эксперимент показал, что задача оказалась слишком сложной для всех моделей ИИ — им удалось решить лишь 0,4% задач. Исследователи объясняют это тем, что ИИ мыслит не логически, а принимает решения, основываясь на вероятности. Поэтому задачи, основанные на правилах и рассуждениях, представляют для него сложность.

- Моделям искусственного интеллекта сложно учитывать все ограничивающие факторы в числовой сетке одновременно, - пояснили авторы статьи.

Среди участников программы магистратуры права (LLM) лучшие результаты показал o1, решив примерно 65% судоку. Однако по мере повышения сложности головоломок его успехи снижались.

Ещё больше проблем возникло, когда исследователи попросили ИИ объяснить, как он пришёл к решению головоломки. Из всех протестированных моделей только в 5% случаев удалось правильно обосновать ввод конкретных чисел. Зачастую ответы были неверными или неясными.

- Например, ИИ сказал: здесь не может быть двойки, потому что в этом ряду уже есть двойка, что было неправдой, - рассказал соавтор исследования доктор Ашутош Триведи.

Он добавил, что в некоторых ситуациях ИИ игнорировал комбинации цифр на доске или выдавал абсурдные объяснения. В одном из таких случаев, во время обсуждения судоку, одна из моделей внезапно выдала прогноз погоды.

«ИИ был совершенно сбит с толку и отреагировал странным образом», — сказал доктор Триведи.

По словам авторов, результаты исследования показывают, что, несмотря на впечатляющие достижения искусственного интеллекта, на него нельзя полностью полагаться, особенно в задачах, требующих точного рассуждения.

«Многие говорят о моделях ИИ, развивающих новые способности, которых от них не ожидаешь. Однако неудивительно, что они по-прежнему плохо справляются со многими задачами», — заключил Анируд Майя.