Hugging Face и AllenAI представили StateBench — бенчмарк для оценки способности языковых моделей отслеживать изменения состояния сущностей в длинных документах.
StateBench оценивает, насколько хорошо языковые модели отслеживают изменения информации о сущностях в длинных документах, включая сценарии, где переменные переопределяются, объекты передаются или происходят последовательные изменения.
Бенчмарк включает четыре уровня сложности: r-trivial (неизменяемые значения), aperiodic (последнее присвоение), soluble (самоссылочные обновления) и general finite (присвоение по ссылке, например, обмен переменными).
На r-trivial и aperiodic уровнях современные модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol и Luna, показывают высокую точность, но на уровнях soluble и general finite точность резко падает при увеличении длины входа.
При обучении с нуля на StateBench гибридные и Gated DeltaNet-модели демонстрируют почти идеальную обобщаемость на r-trivial, aperiodic и soluble уровнях, в то время как трансформеры не способны научиться решать самые сложные задачи.
StateBench позволяет сравнивать архитектуры, выявляя, где именно модели теряют способность отслеживать состояние, и служит ориентиром для разработки новых архитектур с улучшенными возможностями долгосрочного отслеживания.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на Hugging FaceКак это касается вашего бизнеса
Изменения на рынке важны, когда руководитель видит их в показателях своей компании. Радар управления каждый день собирает брифинг: 10 приоритизированных сигналов о главном за 24 часа.