Перейти к основному содержимому
AXIOMA AI
Все новости
Рынок AI

Rust-компоненты для парсинга вызовов инструментов ИИ

Rust-компоненты для парсинга вызовов инструментов ИИ
frontend-crates
название пакета Rust-компонентов

frontend-crates предоставляет переиспользуемые компоненты на Rust для парсинга вызовов инструментов из вывода языковых моделей в структурированные события.

Парсеры обрабатывают некорректные, неполные и потоковые входные данные, следуя документированным правилам восстановления, а не пытаясь угадать намерение модели, сохраняя при этом валидные данные без утечки специфичной для модели разметки.

Общий корпус соответствия (Conformance Corpus) объединяет входные данные, специфичные для модели, с ожидаемыми результатами GOLDEN, позволяя повторно использовать поведенческие тесты, такие как случаи UNIFIED.*

Разработчики создают новые парсеры, определяя тестовый набор GOLDEN, адаптированный из случаев UNIFIED.*, реализуя парсер в соответствии с грамматикой модели и проверяя результаты с помощью локального отчета о соответствии.

Поддержка guided decoding ограничивает генерацию маркерами и схемой аргументов модели, снижая количество некорректных вызовов, однако проверки восстановления парсера остаются необходимыми для случаев обрезания и семантических ошибок.

Пример демонстрирует использование парсера NVIDIA Nemotron из crates dynamo-parsers-v2 для обработки потоковых фрагментов и генерации упорядоченных событий рассуждений и вызовов инструментов.

Это краткое изложение. Полный текст статьи доступен на сайте источника:

Читать полностью на NVIDIA

Как это касается вашего бизнеса

Изменения на рынке важны, когда руководитель видит их в показателях своей компании. Радар управления каждый день собирает брифинг: 10 приоритизированных сигналов о главном за 24 часа.