ggml: C/C++ библиотека тензоров для машинного обучения с минимальными зависимостями
C/C++ библиотека тензоров для машинного обучения с минимальными зависимостями
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 16 тыс.
- Язык: C++
- Лицензия: MIT
Чем полезно
Позволяет запускать и обучать модели без тяжёлых фреймворков: это простая портируемая библиотека с SIMD-оптимизациями и квантованием от 2 до 8 бит, работающая на CPU, GPU, NPU и в браузере.
Главные возможности
- Чистый C/C++ без внешних зависимостей
- Квантование от 2 до 8 бит, MXFP4 и NVFP4
- Поддержка x86, ARM, RISC-V и WebAssembly
Для кого
C/C++ разработчики, встраивающие ML-инференс в свои приложения
Как начать
git clone https://github.com/ggml-org/ggml && cd ggml && mkdir build && cd build && cmake .. && cmake --build . --config Release -j 8
Нашли ошибку или есть что добавить? Напишите редакции
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram