tokenspeed: Движок инференса LLM, ориентированный на агентные нагрузки и производительность.
Движок инференса LLM, ориентированный на агентные нагрузки и производительность.
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 2,6 тыс.
- Язык: Python
- Лицензия: MIT
Чем полезно
Нацелен на скорость TensorRT-LLM при удобстве vLLM. Планировщик на C++ с конечным автоматом и исполнение на Python, плюс MLA-реализация для Blackwell.
Главные возможности
- C++ планировщик с конечным автоматом и управлением KV-кэшем
- Модульная система ядер с централизованным реестром
- Интеграция с SMG для быстрой обработки запросов на CPU
Для кого
Инженеры и исследователи, которые запускают LLM в продакшене
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram