llama.cpp v1.0.0 позволяет запускать мультимодальные LLM на различных устройствах с использованием квантования и оптимизированных бэкендов.
llama.cpp v1.0.0 позволяет запускать мультимодальные языковые модели на широком спектре аппаратного обеспечения — от потребительских устройств до серверов уровня предприятия.
Благодаря квантованию, оптимизированным бэкендам и портативной реализации на C/C++, платформа делает вывод ИИ доступным на всех уровнях программного стека.
Проект развивается уже 3,5 года, и множество приложений зависят от его библиотек, поэтому стабильность API имеет решающее значение.
С версии v1.0.0 изменения API и ABI будут обозначаться через увеличение мажорной версии, что обеспечит прозрачность для разработчиков.
llama.cpp поддерживает более 150 архитектур моделей и все основные методы спекулятивного декодирования.
Разработка ведётся с использованием технологий Hugging Face, таких как HF Buckets и HF Jobs, а также с поддержкой от NVIDIA, AMD, Qualcomm, Arm, IBM и Intel.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на Hugging FaceКак это касается вашего бизнеса
Изменения на рынке важны, когда руководитель видит их в показателях своей компании. Радар управления каждый день собирает брифинг: 10 приоритизированных сигналов о главном за 24 часа.

