frontend-crates предоставляет переиспользуемые компоненты на Rust для парсинга вызовов инструментов из вывода языковых моделей в структурированные события.
Парсеры обрабатывают некорректные, неполные и потоковые входные данные, следуя документированным правилам восстановления, а не пытаясь угадать намерение модели, сохраняя при этом валидные данные без утечки специфичной для модели разметки.
Общий корпус соответствия (Conformance Corpus) объединяет входные данные, специфичные для модели, с ожидаемыми результатами GOLDEN, позволяя повторно использовать поведенческие тесты, такие как случаи UNIFIED.*
Разработчики создают новые парсеры, определяя тестовый набор GOLDEN, адаптированный из случаев UNIFIED.*, реализуя парсер в соответствии с грамматикой модели и проверяя результаты с помощью локального отчета о соответствии.
Поддержка guided decoding ограничивает генерацию маркерами и схемой аргументов модели, снижая количество некорректных вызовов, однако проверки восстановления парсера остаются необходимыми для случаев обрезания и семантических ошибок.
Пример демонстрирует использование парсера NVIDIA Nemotron из crates dynamo-parsers-v2 для обработки потоковых фрагментов и генерации упорядоченных событий рассуждений и вызовов инструментов.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на NVIDIAКак это касается вашего бизнеса
Изменения на рынке важны, когда руководитель видит их в показателях своей компании. Радар управления каждый день собирает брифинг: 10 приоритизированных сигналов о главном за 24 часа.

