NVIDIA расширила платформу Cosmos пятью облачными блюпринтами для данных и новыми инструментами обучения
NVIDIA расширила платформу Cosmos новыми инструментами обучения, контрольными точками для симуляции и пятью облачными блюпринтами Cosmos Data Factory. Разработчики получили готовые инструменты для подготовки данных, дообучения и тестирования моделей мира.
Главное в цифрах
- Сокращение повторных испытательных заездов у Porsche: до 90%
- Сокращение сроков цикла разработки у Porsche: до 85%
- Синтетические видеоклипы для ANYbotics: более 1500
- Ускорение инференса NIM: до 2x без потери качества
- Рост числа видеопотоков на той же GPU в VSS 3.3: 40%
Платформа Cosmos, по словам NVIDIA, входит в пятёрку лидеров на шести рейтингах открытых моделей. Компания предлагает разработчикам открытые модели, а также инструменты и рецепты для работы с данными, обучением и оптимизацией, чтобы масштабировать обучающие данные, адаптировать модели и проверять их поведение до внедрения.
Cosmos Data Factory объединяет инструменты для разметки, отбора, аугментации и оценки данных для физического ИИ. Cosmos Curator, решение для отбора видеоданных с ускорением на GPU, теперь поддерживает мультимодальные мультисенсорные входы и блоки обработки.
Пять блюпринтов и первые клиенты
Блюпринты доступны через GitHub, Microsoft Azure, Nebius и CoreWeave. Они охватывают генерацию данных для автономных автомобилей, аугментацию изображений, синтетические редкие события, генерацию дефектов для систем инспекции и изменение погоды и освещения в существующих видео.
Porsche развивает общий конвейер данных для автомобилей бренда Volkswagen Group на базе Cosmos Data Factory через Voxel51 в Microsoft Azure. Компания ожидает сократить повторные испытательные заезды до 90% и сократить сроки цикла разработки до 85%.
ANYbotics с помощью блюпринтов создала более 1500 синтетических видеоклипов для обучения промышленных роботов распознавать разливы жидкостей и другие изменения между визитами на объект.
Обучение, адаптация и тестирование моделей
Разработчики могут дообучать открытые модели, включая GR00T, Alpamayo, QWEN, Pi0.5 и другие совместимые модели из Hugging Face, с помощью файнтьюнинга и обучения с подкреплением. Модели можно оптимизировать дистилляцией и квантизацией и развернуть с помощью высокопроизводительного инференса.
MicroAGI дообучила Cosmos 3 на видео людей, манипулирующих предметами, и сжала её 32-миллиардный модуль рассуждений до 8-миллиардной модели Nano без потери точности. Новые варианты Cosmos 3 Nano для симуляции позволяют тестировать автономные политики в повторяемых сценариях с несколькими камерами и сенсорами.
Микросервисы Cosmos 3 NIM дают до двукратного ускорения инференса без потери качества в проверенных конфигурациях. Blueprint Metropolis для поиска и суммаризации видео (VSS) 3.3 помогает обслуживать на той же GPU на 40% больше видеопотоков. ADNOC использует платформу Fogsphere MistIQ, построенную на Cosmos и VSS, для выявления угроз безопасности в реальном времени на 65 объектах.
