ООО «Ивент Хаб» · Москва · работаем по всей России
Пн—Пт, 10:00—19:00hello@gusi-lebedi.comРеквизиты
← Все новости
ИИ и проверка качества

Яндекс открыл MTGBench для проверки многошаговых рассуждений нейросетей

Что проверяет новый набор тестов на русском и английском языках и почему игровой результат не заменяет проверку диалогов поддержки на данных компании.

· Редакция «Гуси-Лебеди»
Фирменный гусь выбирает следующий элемент многошаговой головоломки

Коротко

Яндекс и ШАД представили открытый MTGBench для проверки рассуждений нейросетей в последовательных заданиях. Он помогает изучать работу с уточнениями, но результаты игр не доказывают качество ответов и действий в корпоративном процессе.

27 октября 2026 года Яндекс и Школа анализа данных представили MTGBench. Это открытый набор тестов, в которых нейросети решают задачи за несколько последовательных шагов. Он помогает исследовать, как модель использует новые сведения и сохраняет логику рассуждения, а не только выдаёт ответ на один вопрос.

По сообщению Яндекса, набор включает семь текстовых игр на русском и английском языках. Оценка учитывает результат и число шагов. В части заданий ответ проверяет алгоритм, в остальных используется ИИ-судья, работу которого дополнительно проверяли люди. Код проекта опубликован на GitHub.

Зачем это знать заказчику ИИ-помощника

В диалоге с поддержкой клиент часто добавляет условия постепенно. Условный пример: сначала спрашивает о документе, затем уточняет номер заказа и сообщает, что уже пробовал другой способ получения. Полезный помощник должен учитывать новые вводные, не теряя прежние. Мы в компании «Гуси-Лебеди» считаем, что именно такую последовательность стоит включать в проверку корпоративного сценария.

Однако победа в игре не подтверждает правильную работу с заказами, правами доступа или базой знаний вашей компании. MTGBench является исследовательским инструментом. Он не заменяет набор проверенных обращений с ожидаемыми ответами и допустимыми действиями.

Режим рассуждений не даёт одинаковый выигрыш во всех задачах

В исследовании сравнили 16 моделей. Яндекс сообщает, что польза режима рассуждений различалась по типам заданий, а результат одного теста не гарантировал успеха в другом. Следовательно, одного общего балла недостаточно для выбора модели под бизнес-процесс.

Наш практический вывод: отдельно сравнивать понимание уточнений, качество ответа и границы разрешённых действий. При разработке личного кабинета можно заранее задать последовательность диалога: исходный вопрос, изменение условия, исправление ошибки клиентом. После каждого шага проверять, что помощник понял состояние задачи, а не просто убедительно продолжил разговор.

Для подготовки примеров пригодится разбор базы знаний для ИИ-помощника. Проверять следует на разрешённых данных, не перенося реальные документы клиентов в эксперимент без согласованных правил. Мы не запускали MTGBench и не подтверждаем сравнения моделей собственными испытаниями. Публикация не обещает, что выбранная по этому набору нейросеть будет лучше на любом корпоративном сайте.

Навигация по экспертизе

Ещё направления для вашего проекта

Все 86 услуг →