heretic: Инструмент модификации языковых моделей без обучения: снятие цензуры, подавление слопа и подхалимства.
Инструмент модификации языковых моделей без обучения: снятие цензуры, подавление слопа и подхалимства.
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 38,3 тыс.
- Язык: Python
- Лицензия: AGPL-3.0
Чем полезно
Снимает отказы модели за счёт математического перенаправления поведения на контрастных примерах, без дорогого обучения. По README процесс на RTX 3090 занимает около 30-40 минут для Qwen3-4B, что доступнее классических методов.
Главные возможности
- Снятие цензуры по умолчанию и готовые конфиги для других задач
- Плагины-скореры для собственных критериев оптимизации
- Оптимизация через Optuna и поддержка 4-bit квантизации bitsandbytes
Для кого
Энтузиасты локальных LLM и исследователи, работающие с открытыми моделями
Как начать
pip install -U heretic-llm
Нашли ошибку или есть что добавить? Напишите редакции
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram