GigaChat и YandexGPT заняли весь топ-6 российского бенчмарка SLAVA для LLM

Российские языковые модели продемонстрировали полное доминирование в новом бенчмарке SLAVA (Standardized Language Assessment for Verification and Analysis): все шесть верхних строчек заняли модели от Яндекса и Сбера.

Результаты бенчмарка SLAVA

*Лучшая международная модель — 7-е место с результатом 81,3*

Что измеряет SLAVA

Бенчмарк создан для оценки реального качества LLM в русскоязычных задачах:

• Понимание языка — сложный синтаксис, диалекты, идиомы
• Работа с документами — юридические тексты, нормативные акты, ГОСТы
• Культурный контекст — российские реалии, исторические отсылки
• Безопасность и ценности — соответствие российским культурным нормам

Значение результатов

Победа российских моделей подтверждает закономерность: модели, специально обученные на региональных данных, значительно превосходят универсальные в локальных задачах.

Для российского бизнеса это означает:

• При работе с российскими юридическими и нормативными документами предпочтительнее GigaChat или YandexGPT
• Международные модели сохраняют преимущество в задачах на английском языке и в коде
• Для мультиязычных задач оптимально сочетание российской и международной модели

Планы развития

• YandexGPT 6 — фокус на агентных возможностях и мультимодальности
• GigaChat 3 — расширение контекстного окна и улучшение RAG-сценариев

Оба разработчика анонсировали выпуск следующих версий до конца 2026 года.