GPUWorks: Лёгкая платформа управления GPU-кластером и Model-as-a-Service с OpenAI-совместимым API.
Лёгкая платформа управления GPU-кластером и Model-as-a-Service с OpenAI-совместимым API.
Главное в цифрах
- Стадия: показан на Hacker News
Как это работает
Агент подключает серверы и облачные инстансы, сервер подбирает GPU под модель по оценке памяти и запускает vLLM или SGLang за одним эндпоинтом. Поддерживаются NVIDIA, AMD, Ascend, Apple Silicon и другие ускорители.
Почему мы это показываем
Интересный open-source инструмент для инференса с широким железом, но пока мало признаков зрелости: 87 звёзд на GitHub и 21 балл на Hacker News, а заявленные цифры не подтверждены независимо.
Нашли ошибку или есть что добавить? Напишите редакции
Источник: Show HN
Стартап-радар
Такие новости первыми, в Telegram