colibri: Запуск крупных MoE-моделей на обычном железе: чистый C, без зависимостей, эксперты читаются с диска.

Чем полезно

Позволяет запускать модели на сотни миллиардов параметров на компьютере без GPU, держа в RAM только постоянную часть и подгружая нужные эксперты с диска. Для многих это дешевле и доступнее, чем покупать серверное железо.

Главные возможности

• Поддержка десятка языковых моделей, включая GLM-5.2, Kimi K3 и DeepSeek V4 Flash
• Работа на CPU, Vulkan и CUDA, читает готовые GGUF-файлы
• Установка в один шаг: скрипт сам выбирает модель под ваше железо

Для кого

Разработчики и энтузиасты, которые хотят локально запускать большие модели без дорогого GPU

Как начать

./start-here.sh