Нейросети проверили на логику в «Поле чудес», «Данетках» и «Городах» — это исследование специалистов

Нейросети проверили на логику в «Поле чудес», «Данетках» и «Городах» — это исследование специалистов Яндекса и ШАД с международной конференции EMNLP 2026.

Речь о MTGBench — тесте из семи текстовых игр. С его помощью оценили, насколько хорошо ИИ умеет рассуждать, использовать новые данные и планировать действия. Тестили 16 моделей: от компактной Qwen до крупных Gemini и GPT.

Выяснилось, что режим рассуждений хорошо работает в играх, где нужно разбирать подсказки и отсекать неверные варианты. Например, в Wordle он заметно повышает качество. В задачах на знания и понимание смысла, вроде «Элиаса», эффект зависит от конкретной модели.

В итоге исследование поможет инженерам точнее понимать, где рассуждения приносят больше всего пользы, и выбирать модели под конкретные задачи 👍