Предложен метод SSR, заменяющий генерацию рассуждений на выбор из заранее заданных вариантов, что снизило задержку рассуждений за один ход более чем на 90%.
Традиционные мультимодальные агенты генерируют свободные рассуждения перед каждым действием, что при ограниченной мощности модели приводит к избыточному объёму вычислений без существенной пользы.
Предложен фреймворк Selection-Based Structured Reasoning (SSR), в котором рассуждения заменяются выбором из заранее подготовленных кандидатов на естественном языке, что позволяет избежать генерации с нуля.
SSR использует общий контекстный кэш для параллельной оценки всех кандидатов, что позволяет одновременно вычислять вероятности токенов внутри и между вариантами без дополнительной головной задачи.
На семи бенчмарках мультимодального поиска, с использованием моделей 2B и 4B параметров, SSR показал сопоставимую эффективность с лучшими агентами, снизив задержку рассуждений за один ход более чем на 90% и общую задержку на вопрос — на 28–54%.
Часть работы выполнена во время работы в Apple, часть — в Carnegie Mellon University и University of Illinois Urbana-Champaign.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на AppleКак это касается вашего бизнеса
Новая модель или сервис дают эффект, только если данные и процессы компании к ним готовы. Аудит ИИ-готовности покажет, где ИИ даст максимальную отдачу, а где внедрять его преждевременно.