Сбер представил GigaChat с архитектурой линейного внимания: новый подход к эффективности длинных контекстов
Сбер опубликовал на Forbes.ru анонс новой модели GigaChat с технологией линейного внимания (linear attention). Архитектура позволяет обрабатывать длинные контексты с линейной, а не квадратичной сложностью — ключевое преимущество при работе с большими корпоративными документами. Это меняет экономику inference для enterprise-клиентов.
Сбер анонсировал новую версию GigaChat с применением архитектуры линейного внимания (linear attention) — фундаментальным изменением в структуре модели, влияющим на эффективность работы с длинными контекстами.
Что такое линейное внимание: Стандартный механизм внимания (attention) в трансформерах имеет квадратичную сложность O(n²) по длине контекста: ``` Стандартный attention: Контекст 1K токенов → 1M операций Контекст 10K токенов → 100M операций Контекст 100K токенов → 10B операций (!!!)
Линейное attention: Контекст 1K токенов → 1M операций Контекст 10K токенов → 10M операций Контекст 100K токенов → 100M операций (×100 эффективнее!) ```
Преимущества для корпоративного использования:
| Задача | Стандартный GigaChat | GigaChat Linear Attention |
|---|---|---|
| Анализ 50-страничного договора | Медленно, дорого | Быстро, экономично |
| Обработка отчётности за квартал | Возможно | Оптимально |
| Агентные задачи с длинным контекстом | Ограничено | Эффективно |
Практические выгоды:
- 1.Снижение стоимости inference — обработка больших документов становится дешевле
- 2.Ускорение ответа — меньше вычислений = быстрее
- 3.Больший эффективный контекст — 100K+ токенов без экспоненциального роста затрат
Контекст в мировой тенденции: Linear attention — активно исследуемое направление. Аналоги: Mamba (state space models), RWKV, RetNet от Microsoft. Сбер применяет эти архитектурные решения в суверенной модели — это технологически зрелый шаг.
Для IT-директоров и CTO: GigaChat с линейным вниманием открывает новые сценарии корпоративного использования: анализ юридических архивов, аудит больших кодовых баз, обработка многолетней переписки клиентов — задачи, где традиционный attention слишком дорог. При 152-ФЗ compliance (данные на серверах Сбера) — это конкурентное преимущество для регулируемых отраслей.
Это краткое изложение. Полный текст — на сайте источника:
Читать оригинал: Forbes.ruРешения AXIOMA AI по теме статьи
Как это касается вашего бизнеса
Новые ИИ-технологии приносят пользу, когда работают с данными компании и не выносят их наружу. Внедряем ИИ-решения в контуре заказчика: данные остаются внутри периметра.

