EAGLE-4: Пакет eagle-harness для ускорения вывода LLM через спекулятивное декодирование в SGLang, vLLM и TokenSpeed.
Пакет eagle-harness для ускорения вывода LLM через спекулятивное декодирование в SGLang, vLLM и TokenSpeed.
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 889
- Язык: Python
Чем полезно
Ускоряет генерацию до 3.4× на Qwen3.8-27B без изменения ответов модели. Harness сам подбирает глубину спекуляции под batch size и железо, чего нет в обычном EAGLE-подходе.
Главные возможности
- Работает с SGLang, vLLM и TokenSpeed, включая AMD MI355X
- Подбирает глубину спекуляции по измеренным затратам на вашем железе
- Готовый Docker-образ и установка через pip
Для кого
Инженеры, которые разворачивают LLM-инференс на GPU и хотят быстрее генерировать
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram