На конференции CoRL в Остине NVIDIA представила GR00T 2, модель для управления роботами, и показала, как её можно дообучать в симуляции Isaac Lab 3.0. На странице GR00T 2 компания обещает опубликовать код в декабре. В открытом репозитории Isaac-GR00T доступна предыдущая версия N1.7. Стабильная версия Isaac Lab 3.0 уже доступна на GitHub с 20 октября.
GR00T 2 построена на NVIDIA Cosmos. Модель обучалась на данных с роботов и видео от первого лица. Она учитывает, как действие изменит обстановку, и использует этот прогноз для управления роботом. Через программный интерфейс агент может вызывать отдельные навыки, выстраивать их в последовательность и повторять шаги после сбоя.
NVIDIA испытала модель на роботе с двумя кистями Sharpa. В его обучающих данных не было демонстраций этих 50 задач на самом роботе, но примеры встречались в видео людей или в данных других роботов. Без дообучения успешными оказались в среднем 40% попыток, а 40 из 50 задач робот выполнил хотя бы раз. После дообучения на одной демонстрации на задачу средняя доля успеха выросла до 71%, на пяти — до 95%. Каждый такой запуск дообучения занял около 30 минут на одной GeForce RTX 5090.
В Isaac Lab 3.0 можно менять движок физики и способ отрисовки без переписывания логики поддерживаемых задач. Доступные сочетания зависят от задачи. Открытый движок Newton моделирует, например, изгиб кабелей и деформацию ткани. MicroAGI использовала Isaac Lab и Newton для обучения манипулятора YAM переставлять Ethernet-кабель. В отдельном тесте обучения точным манипуляциям по данным с камеры NVIDIA сообщила о пропускной способности до 2,5 раза выше у связки Isaac Lab 3.0 и Newton по сравнению с Isaac Lab 2.3 и PhysX.
