microsoft/BitNet (bitnet.cpp): Официальный фреймворк инференса для 1-битных LLM (BitNet b1.58) на CPU и GPU.

Чем полезно

Запускает модели с весами в 1.58 бита быстрее и экономичнее обычного инференса: по README до 6.17x на x86 и снижение энергопотребления до 82.2%. Позволяет гонять большие модели на обычном процессоре без видеокарты.

Главные возможности

• Оптимизированные ядра I2_S, TL1, TL2 для x86 и ARM
• Официальные модели BitNet-b1.58-2B-4T и embedding-модели
• Поддержка GPU-ядра и сообщества моделей Falcon3, Llama3

Для кого

Разработчики и энтузиасты, запускающие LLM локально на CPU

Как начать

null