Amazon выпустила TorchNeuron для переноса PyTorch-приложений на чипы Trainium

Amazon Web Services выпустила TorchNeuron, инструмент, который позволяет ИИ-стартапам переносить свои приложения на чип Amazon для ИИ, Trainium. По словам Amazon, для этого достаточно изменить одну строку конфигурации, переписывать код не нужно.

TorchNeuron работает с PyTorch, бесплатным инструментом с открытым кодом, который разработчики используют для создания, обучения и запуска ИИ-моделей. Amazon заявляет, что около 85% ИИ-приложений написаны на PyTorch.

Ставка на облако и CUDA

Nvidia годами добивалась того, что её CUDA поддерживает приложения на PyTorch без лишних усилий, и её железо стало выбором по умолчанию. Amazon пытается ослабить эту зависимость. Инструмент адаптирован из PyTorch, поэтому разработчики, которые знают PyTorch, сразу понимают, как им пользоваться. Похожую возможность перенести приложения на другие чипы уже предлагают для GPU AMD и для чипов Apple.

AWS также делает ставку на всю облачную инфраструктуру. Colin Brace, вице-президент по программному обеспечению для технологий в AWS Annapurna Labs, подразделении, которое разрабатывает собственные чипы Amazon, сказал TechCrunch, что стартапу не нужно выбирать одного поставщика вычислений и строить всё остальное вокруг него. По словам AWS, один и тот же чип работает и на обучении, и на инференсе, а облако Amazon может быть дешевле, даже если цена за токен не самая низкая.

Примеры и вклад в PyTorch

Компания Deepgram, сервис голосового ИИ, перешла на Trainium с использованием нативного PyTorch и, по словам Brace, обрабатывает на 70% больше аудио на доллар при производственной точности. Deepgram конкурирует с ElevenLabs.

Amazon также обещает вносить изменения напрямую в основной проект PyTorch, чтобы убрать код, который привязывает фреймворк к конкретным чипам. Цель, как сказано в блоге компании, сделать PyTorch более независимым от железа для всего сообщества разработчиков, а не только для пользователей Trainium.