Heretic

项目简介

Heretic 是一款无需训练即可修改语言模型的工具。用户可以在自己的硬件上运行并修改模型，无需昂贵训练；它通过对比示例提示与匹配评分器，用一系列数学方法引导模型行为。默认操作是抑制拒答、移除审查。

核心功能

• 可在本地硬件上运行的语言模型进行无需训练的修改，支持大多数稠密模型、许多多模态模型、若干 MoE 架构以及许多现代混合模型；默认移除审查、抑制拒答，并可通过配置减少废话、减少幽默、减少迎合倾向或改变情绪对齐；可配置评分器插件，默认包含拒答率和 KL 散度，并支持自定义评分器及多评分协同优化；内置两种修改器：任意秩消融（默认）与方向消融，也称 abliteration；可使用 bitsandbytes 进行可选的即时 4 位量化，以降低显存需求，但会带来轻微精度损失；提供可复现模型清单，以及用于编目和复现已发布模型的 Heretic Grimoire。

适用场景

• 默认对语言模型执行移除审查或抑制拒答；通过选择不同配置文件减少废话、幽默或迎合倾向，或改变情绪对齐；编写自定义评分器插件，以控制和协同优化多个行为目标；在一次运行后保存模型、上传至 Hugging Face、与模型对话或对其进行基准测试。

快速开始

• 准备 Python 3.10+ 环境，并根据硬件安装 PyTorch 2.6+；运行 pip install -U heretic-llm；运行 heretic Qwen/Qwen3-4B-Instruct-2507，并将模型标识替换为要处理的模型；默认执行移除审查（抑制拒答），如要做其他修改，可选择其他配置文件或自行编写。

部署与要求

• Python 3.10+ 环境，并按硬件安装 PyTorch 2.6+；可在自身硬件上运行的语言模型；可选使用 bitsandbytes 进行 4 位量化，以降低显存需求，但可能带来轻微精度损失。

采用前须知

• 许可证：AGPL-3.0。在使用、修改或分发项目前，请确认其具体条款。