Яндекс открыл MTGBench для проверки многошаговых рассуждений нейросетей
Что проверяет новый набор тестов на русском и английском языках и почему игровой результат не заменяет проверку диалогов поддержки на данных компании.

Коротко
Яндекс и ШАД представили открытый MTGBench для проверки рассуждений нейросетей в последовательных заданиях. Он помогает изучать работу с уточнениями, но результаты игр не доказывают качество ответов и действий в корпоративном процессе.
27 октября 2026 года Яндекс и Школа анализа данных представили MTGBench. Это открытый набор тестов, в которых нейросети решают задачи за несколько последовательных шагов. Он помогает исследовать, как модель использует новые сведения и сохраняет логику рассуждения, а не только выдаёт ответ на один вопрос.
По сообщению Яндекса, набор включает семь текстовых игр на русском и английском языках. Оценка учитывает результат и число шагов. В части заданий ответ проверяет алгоритм, в остальных используется ИИ-судья, работу которого дополнительно проверяли люди. Код проекта опубликован на GitHub.
Зачем это знать заказчику ИИ-помощника
В диалоге с поддержкой клиент часто добавляет условия постепенно. Условный пример: сначала спрашивает о документе, затем уточняет номер заказа и сообщает, что уже пробовал другой способ получения. Полезный помощник должен учитывать новые вводные, не теряя прежние. Мы в компании «Гуси-Лебеди» считаем, что именно такую последовательность стоит включать в проверку корпоративного сценария.
Однако победа в игре не подтверждает правильную работу с заказами, правами доступа или базой знаний вашей компании. MTGBench является исследовательским инструментом. Он не заменяет набор проверенных обращений с ожидаемыми ответами и допустимыми действиями.
Режим рассуждений не даёт одинаковый выигрыш во всех задачах
В исследовании сравнили 16 моделей. Яндекс сообщает, что польза режима рассуждений различалась по типам заданий, а результат одного теста не гарантировал успеха в другом. Следовательно, одного общего балла недостаточно для выбора модели под бизнес-процесс.
Наш практический вывод: отдельно сравнивать понимание уточнений, качество ответа и границы разрешённых действий. При разработке личного кабинета можно заранее задать последовательность диалога: исходный вопрос, изменение условия, исправление ошибки клиентом. После каждого шага проверять, что помощник понял состояние задачи, а не просто убедительно продолжил разговор.
Для подготовки примеров пригодится разбор базы знаний для ИИ-помощника. Проверять следует на разрешённых данных, не перенося реальные документы клиентов в эксперимент без согласованных правил. Мы не запускали MTGBench и не подтверждаем сравнения моделей собственными испытаниями. Публикация не обещает, что выбранная по этому набору нейросеть будет лучше на любом корпоративном сайте.



