Специализация словаря SLM снижает затраты на инференс на 77%

Авторы статьи из Dharma-AI разработали метод VocabX, который адаптирует словарь малых языковых моделей вокруг стоимости токена, а не его частоты. Обычно токенизатор считается фиксированным свойством базовой модели, но для модели, специализированной на одной области, он может стать одним из главных рычагов снижения затрат.

Метод решает две проблемы: фрагментацию текста на множество токенов и избыточность словаря, содержащего десятки тысяч неиспользуемых записей. VocabX работает на двух уровнях одновременно: на уровне подслов он перестраивает разбиение слов, а на уровне многословных токенов объединяет повторяющиеся фрагменты, такие как JSON-оболочки, в единые токены.

В тестировании на автоматическом оценщике эссе количество токенов ответа модели в среднем сократилось с 350 до 101. Затраты на инференс снизились на 77,0%, а качество оценки, измеряемое по бенчмарку, выросло с 0,703 до 0,810.

Сравнение с тремя эталонными методами показало, что VocabX обеспечивает сжатие на 1,2–9,3 балла больше во всех протестированных комбинациях доменов и семейств моделей. Метод позволяет модели перестать платить за текст, который не нужно писать по частям, и перестать оценивать словарь, который она никогда не будет использовать.