Qwen3-VL-4B Heretic: 为ComfyUI中Krea 2提供无审查文本编码器
DreamFast发布了适用于ComfyUI的无审查版Qwen3-VL-4B文本编码器,在BF16、FP8、INT8、NVFP4和MXFP8格式下均实现100% HarmBench ASR。
DreamFast发布了Qwen3-VL-4B-Instruct Heretic (ComfyUI),这是专为ComfyUI打包的Qwen3-VL-4B-Instruct文本编码器的完全abliterated版本。该模型在保持输出质量的同时移除了安全护栏,相比基础模型的30.8%实现了100% HarmBench ASR(攻击成功率),且基准测试回归极小。
什么是Abliterated文本编码器?
Abliteration是在不重新训练的情况下,有选择性地从模型中移除安全拒绝回路的过程。对于Krea 2等图像生成工作流,文本编码器解释用户提示,而原版Qwen3-VL-4B编码器会拒绝约30%的提示内容。Heretic变体消除了这些拒绝,同时保持编码器的语义理解完整。
取证报告显示,KL散度仅为0.0283(越低越好),GSM8K仅下降1.83%,是所有试验变体中影响最小的。
五种量化格式
该模型提供五种格式,涵盖从全精度到Blackwell优化的4位精度:
| 格式 | 大小 | 硬件 | 最佳用途 |
|---|---|---|---|
| BF16 | 8.3 GB | 任意GPU | 最高保真度 |
| FP8 E4M3 | 4.2 GB | Ada+ (RTX 4090) | 速度与质量均衡 |
| INT8 ConvRot | 4.5 GB | 任意Ampere+ GPU | 推荐 — 近乎无损,无需Blackwell |
| NVFP4 E2M1 | 2.9 GB | Blackwell (RTX 5090/5080) | 最小体积,原生FP4张量核心 |
| MXFP8 | 4.7 GB | Blackwell | 使用E8M0块缩放实现最佳动态范围 |
INT8 ConvRot变体使用SVD引导的学习舍入来最小化输出错误,是大多数用户的推荐选择——它可以在任何Ampere或更新GPU上运行,无需Blackwell硬件。
在ComfyUI中与Krea 2配合使用
Krea 2使用Qwen3-VL-4B文本编码器作为其提示解释器。Heretic模型是一个即插即用的替代品:
- 从HuggingFace下载其中一个
.safetensors文件 - 将其放入
ComfyUI/models/text_encoders/ - 使用相同的加载器节点——该模型使用相同的Qwen3-VL-4B架构
fp8模型(4.2 GB)与原版qwen3vl_4b_fp8_scaled.safetensors最接近。如需在无审查提示下获得更高保真度,请使用int8或bf16变体。
可用变体
ComfyUI仓库属于Heretic模型系列的三个发行版之一:
- Qwen3-VL-4b-Heretic — 用于transformers/vLLM的BF16权重,带完整视觉编码器
- Qwen3-VL-4b-Heretic-GGUF — 用于llama.cpp/Ollama/LM Studio的GGUF量化
- Qwen3-VL-4b-Heretic-ComfyUI — ComfyUI文本编码器模型(本次发布)
社区量化人员已迅速生产了额外的GGUF变体,在发布数小时内总下载次数超过1000次。
模型完整性
Abliteration仅修改了54个张量(纯秩1编辑),绝大部分模型保持不变。MMLU分数实际上提高了+0.03%(69.61% vs 69.58%),而GSM8K仅下降1.83%——对于完全无审查能力而言,这是一个可接受的权衡。
注意: 此模型移除了安全对齐,会遵从有害请求。请负责任地使用,并遵守适用法律法规。
链接
- 模型: DreamFast/Qwen3-VL-4b-Heretic-ComfyUI
- Abliteration工具: Heretic by p-e-w
- 量化工具: convert-to-quant by silveroxides
- Docker流水线: heretic-docker