kimi-k3-in-c: Движок инференса модели Kimi K3 на чистом C99 для одного CPU без GPU.
Движок инференса модели Kimi K3 на чистом C99 для одного CPU без GPU.
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 10,6 тыс.
- Язык: C
- Лицензия: Apache-2.0
Чем полезно
Запускает 2,78-трлн-параметровую модель на обычном ноутбуке с 8 GB RAM, читая веса с диска и распаковывая эксперты из 4-битного формата. Ответы совпадают при любом объёме памяти, меняется только скорость, которая очень низкая.
Главные возможности
- Нулевые зависимости: без BLAS, фреймворков и GPU
- Эксперты MXFP4 умножаются прямо из упакованного 4-битного вида
- Одинаковый вывод от 8 GB до 224 GB RAM, меняется только скорость
Для кого
Разработчики и исследователи, изучающие низкоуровневый инференс больших моделей
Как начать
make portable
Нашли ошибку или есть что добавить? Напишите редакции
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram