Разработчик из NVIDIA создал интерактивного персонажа — ворчливого дом-корабль, который общается с посетителями на Хэллоуин.
Проект MonsterHouse представляет собой интерактивную проекцию, реагирующую на посетителей во время Хэллоуина.
Для распознавания речи используется NVIDIA Nemotron 3 ASR, а для генерации ответов — открытая языковая модель NVIDIA Nemotron 3.5 Bolt E4B 4GB.
Голосовые ответы генерируются с помощью NVIDIA Magpie TTS Zeroshot на основе короткой эталонной записи, а анимация рта создаётся с помощью NVIDIA Audio2Face-3D.
Для распознавания костюмов используется NVIDIA Nemotron 3 Nano Omni, а отслеживание посетителей выполняется с помощью YOLO и ByteTrack.
Весь комплекс работает на одной рабочей станции с двумя GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q и NVIDIA RTX PRO 4000 Blackwell.
Разработчик использовал LoRA-адаптер для формирования характера персонажа на основе более чем 5000 диалогов.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на Hugging FaceКак это касается вашего бизнеса
Новая модель или сервис дают эффект, только если данные и процессы компании к ним готовы. Аудит ИИ-готовности покажет, где ИИ даст максимальную отдачу, а где внедрять его преждевременно.