Технологии, деньги и рынки — первымиНаписать в редакциюСтудия Dilami LabDilami Lab

ggml: C/C++ библиотека тензоров для машинного обучения с минимальными зависимостями

C/C++ библиотека тензоров для машинного обучения с минимальными зависимостями

ggml: C/C++ библиотека тензоров для машинного обучения с минимальными зависимостями
Иллюстрация: GitHub

Главное в цифрах

  • Звёзд на GitHub: 16 тыс.
  • Язык: C++
  • Лицензия: MIT

Чем полезно

Позволяет запускать и обучать модели без тяжёлых фреймворков: это простая портируемая библиотека с SIMD-оптимизациями и квантованием от 2 до 8 бит, работающая на CPU, GPU, NPU и в браузере.

Главные возможности

  • Чистый C/C++ без внешних зависимостей
  • Квантование от 2 до 8 бит, MXFP4 и NVFP4
  • Поддержка x86, ARM, RISC-V и WebAssembly

Для кого

C/C++ разработчики, встраивающие ML-инференс в свои приложения

Как начать

git clone https://github.com/ggml-org/ggml && cd ggml && mkdir build && cd build && cmake .. && cmake --build . --config Release -j 8

Нашли ошибку или есть что добавить? Напишите редакции
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram
Подписаться
0 новых новостей