Встречайте Muse Spark Open: передовая мультимодальная модель с открытыми весами на архитектуре mixture-of-experts от Meta

Muse Spark Open является самой мощной на данный момент моделью с открытыми весами в США, построенной по архитектуре mixture-of-experts.

Модель оптимизирована для задач программирования: чтения кодовой базы, написания и отладки кода, а также вызова инструментов.

Архитектура включает 62 слоя, скрытое измерение 8192, 128 query head и 16 key-value head, а также механизм маршрутизации экспертов.

MoE-блок содержит 256 экспертов, из которых для каждого токена выбираются 8, что обеспечивает эффективность вычислений.

Поддержка мультимодальных входов реализуется через отдельные энкодеры для изображений, видео и аудио.

Модель доступна для запуска на платформе llama.cpp с поддержкой квантования до 2-бит.

Fine-tuning модели можно выполнять с помощью TRL SFTTrainer, используя LoRA-адаптеры на attention-слоях.