Яндекс и ШАД опубликовали бенчмарк MTGBench для оценки рассуждений нейросетей

Разработчики создали MTGBench на основе игр, где каждый следующий шаг зависит от предыдущего, чтобы проверить, учитывает ли нейросеть новую информацию и предыдущие действия. Набор включает семь текстовых игр, таких как «Поле чудес», «Данетки», «Элиас» и Wordle, выполняемых на русском и английском языках.

В бенчмарке оценивается не только конечный ответ модели, но и количество шагов, необходимых для его достижения. Правильность решений в четырёх играх проверяют алгоритмы, а в остальных — ИИ-судья, качество работы которого дополнительно проверили люди.

Исследователи протестировали на MTGBench 16 нейросетей, включая модели Qwen, Gemini и GPT, выявив зависимость эффективности рассуждений от типа задачи. Результаты показали, что задания на русском языке даются моделям хуже, чем на английском, а высокий балл в одном типе испытаний не гарантирует успеха в другом.

Для сравнения исследователи предложили русскоязычные задания MTGBench людям, которые хорошо справились с буквенными играми. Сильнейшие модели с включённым режимом рассуждений показали более высокие средние баллы во всех семи играх по сравнению с людьми. MTGBench доступен на GitHub для тестирования и сравнения моделей исследователями и разработчиками.