Перейти к основному содержимому
AXIOMA AI
Все новости ИИ в России
Технологии

Сбер представил GigaChat с архитектурой линейного внимания: новый подход к эффективности длинных контекстов

Сбер представил GigaChat с архитектурой линейного внимания: новый подход к эффективности длинных контекстов
Технологии
Linear attention O(n) vs O(n²)
Сбер GigaChat Linear Attention: обработка длинных контекстов с линейной сложностью — ×100 эффективнее для 100K токенов, enterprise-документы без ограничений

Сбер опубликовал на Forbes.ru анонс новой модели GigaChat с технологией линейного внимания (linear attention). Архитектура позволяет обрабатывать длинные контексты с линейной, а не квадратичной сложностью — ключевое преимущество при работе с большими корпоративными документами. Это меняет экономику inference для enterprise-клиентов.

Сбер анонсировал новую версию GigaChat с применением архитектуры линейного внимания (linear attention) — фундаментальным изменением в структуре модели, влияющим на эффективность работы с длинными контекстами.

Что такое линейное внимание: Стандартный механизм внимания (attention) в трансформерах имеет квадратичную сложность O(n²) по длине контекста: ``` Стандартный attention: Контекст 1K токенов → 1M операций Контекст 10K токенов → 100M операций Контекст 100K токенов → 10B операций (!!!)

Линейное attention: Контекст 1K токенов → 1M операций Контекст 10K токенов → 10M операций Контекст 100K токенов → 100M операций (×100 эффективнее!) ```

Преимущества для корпоративного использования:

ЗадачаСтандартный GigaChatGigaChat Linear Attention
Анализ 50-страничного договораМедленно, дорогоБыстро, экономично
Обработка отчётности за кварталВозможноОптимально
Агентные задачи с длинным контекстомОграниченоЭффективно

Практические выгоды:

  1. 1.Снижение стоимости inference — обработка больших документов становится дешевле
  2. 2.Ускорение ответа — меньше вычислений = быстрее
  3. 3.Больший эффективный контекст — 100K+ токенов без экспоненциального роста затрат

Контекст в мировой тенденции: Linear attention — активно исследуемое направление. Аналоги: Mamba (state space models), RWKV, RetNet от Microsoft. Сбер применяет эти архитектурные решения в суверенной модели — это технологически зрелый шаг.

Для IT-директоров и CTO: GigaChat с линейным вниманием открывает новые сценарии корпоративного использования: анализ юридических архивов, аудит больших кодовых баз, обработка многолетней переписки клиентов — задачи, где традиционный attention слишком дорог. При 152-ФЗ compliance (данные на серверах Сбера) — это конкурентное преимущество для регулируемых отраслей.

Это краткое изложение. Полный текст — на сайте источника:

Читать оригинал: Forbes.ru

Как это касается вашего бизнеса

Новые ИИ-технологии приносят пользу, когда работают с данными компании и не выносят их наружу. Внедряем ИИ-решения в контуре заказчика: данные остаются внутри периметра.