TensorFold: Движок инференса LLM на Zig для Apple Silicon и NVIDIA без Python
Движок инференса LLM на Zig для Apple Silicon и NVIDIA без Python
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 2 тыс.
- Язык: Zig
- Лицензия: Apache-2.0
Чем полезно
Запускает языковые модели напрямую на Metal и CUDA из одного бинарника, без Python и MLX. Есть API для chat/completions, Responses и Anthropic Messages.
Главные возможности
- Работает на Metal (Apple Silicon) и CUDA (NVIDIA)
- API: chat/completions, Responses и Anthropic Messages
- Очередь запросов через --parallel и веб-интерфейс TensorFold Web
Для кого
Разработчики, запускающие LLM локально на Mac или NVIDIA
Как начать
brew install ashhart/tensorfold/tensorfold
Нашли ошибку или есть что добавить? Напишите редакции
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram