Neura Robotics представила Neuron AI, модель физического ИИ для роботов
Немецкая Neura Robotics представила Neuron AI, мультимодальную фундаментальную модель для роботов. Она объединяет зрение, тактильные и силовые данные, звук, состояние робота, язык и память.
Главное в цифрах
- Длительность автономной стирки на демонстрации: 11 минут
- Даты показа на Nvidia GTC Berlin: с 20 по 22 октября
- Количество роботов-эмбодимentов, на которых обучается общая модель: пять
Модель использует архитектуру Perception-Language-Action, которая связывает показания разных датчиков с предыдущими действиями робота. Это нужно для задач, где одной камеры недостаточно: например, робот может понять, что замок защёлкнулся, по ощущениям или звуку, либо работать с объектом вне поля зрения.
Память позволяет модели запоминать предметы, которые исчезли из кадра, и учитывать, как прошлые действия изменили среду. По словам компании, это помогает роботу связывать причину и следствие на длинных последовательностях, а не реагировать только на последний кадр с камеры.
Как обучается модель
Neura называет три источника данных: реальные данные роботов, работающих в её Neura Gym, симуляцию, которую расширяет инструмент Data Amplifier, и демонстрации людей в костюмах с датчиками. Общая модель обучается на пяти роботах с разными захватами и кистями.
В обучении также участвуют промышленные партнёры, в том числе Schaeffler и Bosch. Клиенты могут дообучать модель под свои процессы и оставлять полученные навыки закрытыми.
Показ на GTC Berlin
Компания покажет систему на конференции Nvidia GTC Berlin с 20 по 22 октября. Гуманоид 4NE1 выполнит 11-минутную автономную стирку: сортировку одежды, загрузку и выгрузку стиральной машины и перенос белья в сушилку без участия человека.
