Um quebra-cabeça japonês derrotou a inteligência artificial. A máquina é completamente incapaz de resolvê-lo.

Os quebra-cabeças numéricos são um passatempo conhecido há milênios – surgiram na China antiga e começaram a aparecer em jornais no final do século XIX. Há cerca de 20 anos, o Sudoku ganhou popularidade global, com um quebra-cabeça publicado pela primeira vez em 1986 na revista japonesa "Nicoli". Hoje, o jogo tem milhões de fãs em todo o mundo, e várias versões do aplicativo para dispositivos móveis foram baixadas por aproximadamente 200 milhões de usuários.

O Sudoku envolve o preenchimento de quadrados vazios em uma grade de 9x9 com números. Cada linha, coluna e quadrado 3x3 (o chamado bloco numérico) em que a grade é dividida deve conter um dígito de 1 a 9, e nenhum dígito pode ser repetido. Matemáticos da Universidade de Sheffield (Reino Unido) provaram em 2005 que existem aproximadamente 6 quatrilhões de grades de Sudoku válidas possíveis (6 x 10 elevado à 21ª potência). Outras versões do jogo também existem — por exemplo, uma grade de 6x6 deve ser preenchida com os dígitos de 1 a 6.

Agora, verifica-se que o Sudoku representa um desafio para a inteligência artificial. Embora a IA esteja fazendo enormes progressos, entre outras coisas, na análise de grandes conjuntos de dados, na geração de texto, imagens e vídeos, e na tradução, as tarefas lógicas são seu ponto fraco. Isso foi confirmado por pesquisadores da Universidade do Colorado em Boulder (EUA) , cujo artigo sobre o assunto foi publicado na "ACL Anthology", uma coletânea de mais de 110.000 artigos científicos reunidos pela Association for Computational Linguistics (ACL).

Como disse o principal autor do artigo, o especialista em ciência da computação e aprendizado de máquina Anirudh Maiya, resolver o Sudoku tem vários elementos importantes.

"É preciso prosseguir passo a passo, reavaliar constantemente os campos numéricos e seguir as regras de forma consistente. Quebra-cabeças como esses são divertidos, mas também fornecem um microcosmo ideal para estudar o processo de tomada de decisão em aprendizado de máquina", explicou o especialista.

Para o estudo, Maiya e sua equipe criaram 2.300 quebra-cabeças de Sudoku de dificuldade variada em uma grade de 6x6. Os pesquisadores então os atribuíram a vários modelos de linguagem de grande porte (LLMs), incluindo o1, Llama-3.1, Gemma-2 e Mistral, para resolvê-los.

O experimento mostrou que a tarefa era muito difícil para todos os modelos de IA — eles conseguiram resolver apenas 0,4% dos quebra-cabeças. Os pesquisadores atribuem isso ao fato de a IA não pensar logicamente, mas sim determinar soluções com base em probabilidades. Portanto, tarefas baseadas em regras e raciocínio são difíceis para ela.

- Modelos de inteligência artificial têm dificuldade em levar em conta todos os fatores limitantes em uma grade numérica simultaneamente - explicaram os autores do artigo.

Entre os participantes do curso de Mestrado em Direito, o1 teve o melhor desempenho, resolvendo aproximadamente 65% dos quebra-cabeças de Sudoku. No entanto, à medida que a dificuldade dos quebra-cabeças aumentava, sua taxa de sucesso também diminuía.

Problemas ainda maiores surgiram quando os pesquisadores pediram à IA que explicasse como chegou à solução do quebra-cabeça. De todos os modelos testados, apenas 5% das vezes conseguiram justificar corretamente a entrada de números específicos. Muitas vezes, as respostas estavam incorretas ou pouco claras.

- Por exemplo, a IA disse: não pode haver um dois aqui porque já há um dois nesta linha, o que não era verdade - disse o coautor do estudo , Dr. Ashutosh Trivedi.

Ele acrescentou que, em algumas situações, a IA ignorou as combinações numéricas no tabuleiro ou apresentou explicações absurdas. Em um desses casos, durante uma conversa sobre Sudoku, um dos modelos repentinamente deu uma previsão do tempo.

“A IA ficou completamente confusa e reagiu de uma forma bizarra”, disse o Dr. Trivedi.

Segundo os autores, os resultados do estudo mostram que, apesar das conquistas impressionantes da inteligência artificial, ela não pode ser totalmente confiável, especialmente em tarefas que exigem raciocínio preciso.

"Muitas pessoas falam sobre modelos de IA desenvolvendo novas habilidades que você não esperaria que eles tivessem. No entanto, não é surpresa que eles ainda tenham um desempenho ruim em muitas tarefas", concluiu Anirudh Maiya.