NVIDIA представила открытый инструмент Snapshot для быстрого восстановления GPU-задач в Kubernetes — время запуска сократилось до 3,6–42,7 секунд против минут при холодном старте.
NVIDIA Snapshot — это открытый компонент платформы NVIDIA DSX AI Factory, позволяющий быстро создавать и восстанавливать состояние GPU-задач в Kubernetes.
При скачке нагрузки или сбое реплики GPU не могут сразу начать обслуживание запросов, так как инициализация LLM (холодный старт) занимает минуты.
Snapshot позволяет закапсулировать полностью инициализированное состояние CPU и GPU и быстро восстановить его на совместимом оборудовании, минуя загрузку моделей и компиляцию.
Восстановление реплики из Snapshot artifact занимает от 3,6 до 42,7 секунд в зависимости от конфигурации и обеспечивает ускорение запуска в 8–36 раз по сравнению с холодным стартом, который занимает минуты.
Поддерживаются многопроцессорные задачи с использованием tensor parallelism, data и expert parallelism, а также decode context parallelism для больших mixture-of-experts моделей с чекпоинтами до 1 ТБ на восемь GPU.
Создание чекпоинта занимает от 15 секунд до 5,5 минут в зависимости от размера модели, но суммарное время чекпоинта и восстановления всегда меньше, чем один холодный старт.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на NVIDIAКак это касается вашего бизнеса
Изменения на рынке важны, когда руководитель видит их в показателях своей компании. Радар управления каждый день собирает брифинг: 10 приоритизированных сигналов о главном за 24 часа.