NVIDIA выпустила четыре открытых чекпоинта Cosmos 3 для симуляции и вождения
NVIDIA добавила в семейство Cosmos 3 четыре открытых чекпоинта с весами для интерактивной симуляции мира и генерации мультисенсорных сцен вождения. Все модели построены на Cosmos 3 Nano, имеют 16 млрд обучаемых параметров и доступны для коммерческого и некоммерческого использования.
Главное в цифрах
- Количество обучаемых параметров: 16 млрд
- Число камер в Transfer-Auto: до 11, включая fisheye
- Лицензия: OpenMDW1.1, коммерческое использование разрешено
- Шагов шумоподавления в дистиллированном студенте на этапе консистентной дистилляции: 4
Чекпоинты относятся к моделям мира Cosmos от NVIDIA. Все четыре являются пост-обученными версиями Cosmos 3 Nano с 16 млрд обучаемых параметров. Лицензия OpenMDW1.1 разрешает коммерческое и некоммерческое использование на её условиях.
Компания описывает набор как основу для трёх направлений: симуляции для робототехники, генерации данных для автономного вождения и потоковой симуляции с взаимодействием в реальном времени.
Модели для вождения
Cosmos3-Nano-Transfer-Auto предназначена для офлайн-генерации синтетических данных для вождения. Она создаёт синхронизированное видео с до 11 камер, включая fisheye, и поддерживает совместную генерацию RGB и LiDAR. Управление сценой задаётся через World Scenario Map для каждой камеры, а текстовые подсказки определяют внешний вид.
Cosmos3-Nano-Sim-Auto является потоковым вариантом Transfer-Auto с каузальной дистилляцией. Она генерирует последовательные небольшие фрагменты синхронизированного видео и LiDAR за несколько шагов шумоподавления, что позволяет строить длинные интерактивные прогоны. По описанию NVIDIA, для замкнутого цикла нужны среда симуляции и рендерер WSM, которые обновляют управление по действиям вождения.
Робототехника и архитектура
Cosmos3-Nano-Sim-Transfer получает от физического симулятора пространственные управления, такие как глубина и сегментация, и текстовый запрос, а затем рендерит цветные изображения для политики робота. Физика и состояние остаются у симулятора.
Cosmos3-Nano-Sim-Bimanual моделирует изменение среды под действиями двурукого робота и поддерживает embodiment YAM и AgiBot. Модель управляется политикой или джойстиками.
В основе семейства лежит архитектура Mixture-of-Transformers, которая связывает сети для обработки текста и генерации видео через внимание. Модель работает с компрессированными видеопредставлениями, где каждый временной шаг латента соответствует четырём RGB-кадрам. Обучение проходит в четыре этапа: двунаправленная адаптация, teacher forcing, консистентная дистилляция в четыре шага и self-forcing.
