vllm-project/vllm: Высокопроизводительный движок для инференса и сервинга больших языковых моделей

Чем полезно

Даёт высокую пропускную способность и экономную работу с памятью при запуске LLM; PagedAttention и непрерывный батчинг обслуживают много запросов на одном GPU лучше привычных способов.

Главные возможности

• OpenAI-совместимый API-сервер с поддержкой потоковых ответов
• Квантизация FP8, INT4, AWQ, GPTQ и другие, а также многие GPU и CPU
• Поддержка 200+ архитектур моделей с Hugging Face, включая MoE и мультимодальные

Для кого

ML-инженеры и команды, которые разворачивают LLM в продакшене

Как начать

uv pip install vllm