llama.cpp: Инференс больших языковых моделей на C/C++ с минимальными зависимостями

Чем полезно

Позволяет запускать LLM и VLM локально и в облаке на широком наборе железа, от ноутбуков на Apple silicon до GPU NVIDIA, AMD и Intel, с квантизацией от 1.5 до 8 бит для экономии памяти.

Главные возможности

• Чистый C/C++ без внешних зависимостей, оптимизации для ARM, AVX и CUDA
• Квантизация от 1.5 до 8 бит и гибрид CPU+GPU для моделей больше VRAM
• Встроенный OpenAI-совместимый сервер llama serve и веб-интерфейс

Для кого

Разработчики и энтузиасты, которые запускают LLM локально или на своих серверах

Как начать

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF