AI-агенты обучают роботов вроде Microduck ходить в симуляции

Процесс обучения робота навигации в симуляции включает несколько этапов: создание ассетов и окружения, использование физической симуляции для моделирования взаимодействия робота с окружением, а также обучение и оценку политик в симуляции.

NVIDIA RTX Spark выступает в роли локального центра разработки, поддерживающего AI-помощь в планировании и проверке политик. NVIDIA Isaac Lab предоставляет фреймворк для обучения роботов с использованием обучения с подкреплением в облаке, а Newton моделирует физическое поведение, а библиотеки NVIDIA Omniverse генерируют визуальные наблюдения через RTX-рендеринг. Обученные политики возвращаются в RTX Spark для локальной оценки в NVIDIA Isaac Sim.

Работа проходит через последовательность шагов: анализ запроса, генерация концепции курса, идентификация ассетов, подготовка передачи данных, создание и проверка ассетов, а также сборка и тестирование окружения.

AI-агент Astra создаёт 3D-ассеты на основе плана и референсов, используя облачное редактирование изображений для улучшения детализации объектов перед моделированием в FreeCAD и наложением материалов в Blender. Сгенерированные ассеты сохраняются как редактируемые модели и экспортируются в формате USD с предварительными проверками.

Astra формирует полосу препятствий в NVIDIA Isaac Sim, используя подготовленные ассеты. Isaac Sim предоставляет доступ к библиотекам Omniverse для рендеринга и симуляции сенсоров, а Newton моделирует физическое поведение Microduck, включая движение и баланс.

Модель политики восприятия и локомоции обучается в NVIDIA Isaac Lab с использованием 4096 параллельных окружений на GPU NVIDIA RTX PRO 6000 Blackwell Workstation Edition. Обучение использует данные с камеры на голове и состояние робота для обучения политике ходьбы по рампе и преодоления препятствий.

После обучения политика проверяется в Isaac Sim на локальном RTX Spark для оценки обнаружения препятствий, корректировки движения и завершения курса перед переходом к физической реализации.

Подготовка к переходу из симуляции в реальный мир включает использование моделей актуаторов, соответствующих реальным характеристикам робота, и доменные случайности для адаптации политики к реальным условиям.