Qwen3-VL-4B Heretic: ComfyUI向けKrea 2の無検閲テキストエンコーダー
DreamFastがComfyUI向けに無検閲のQwen3-VL-4Bテキストエンコーダーをリリース。BF16、FP8、INT8、NVFP4、MXFP8フォーマットで100%のHarmBench ASRを達成。
DreamFastは、Qwen3-VL-4B-Instruct Heretic (ComfyUI)をリリースしました。これは、ComfyUI向けにパッケージ化された、完全にアブリテレーションされたバージョンのQwen3-VL-4B-Instructテキストエンコーダーです。このモデルは安全ガードレールを除去しつつ出力品質を維持し、ベースモデルの30.8%に対して**100%のHarmBench ASR(攻撃成功率)**を達成。ベンチマークの低下は最小限に抑えられています。
アブリテレーションされたテキストエンコーダーとは?
アブリテレーション(Abliteration)とは、再トレーニングを行わずにモデルから安全拒否回路を選択的に除去するプロセスです。Krea 2のような画像生成ワークフローでは、テキストエンコーダーがユーザーのプロンプトを解釈しますが、標準のQwen3-VL-4Bエンコーダーは約30%のプロンプトを拒否します。Hereticバリアントはこれらの拒否を排除しつつ、エンコーダーの意味理解能力を維持します。
フォレンジックレポートによると、KLダイバージェンスはわずか0.0283(低いほど良い)、GSM8Kの低下はわずか−1.83%であり、全試行の中で最も破壊的でないバリアントです。
5つの量子化フォーマット
このモデルは、フル精度からBlackwell最適化4ビットまで、5つのフォーマットで利用可能です。
| フォーマット | サイズ | ハードウェア | 最適な用途 |
|---|---|---|---|
| BF16 | 8.3 GB | 任意のGPU | 最大忠実度 |
| FP8 E4M3 | 4.2 GB | Ada+(RTX 4090) | 速度と品質のバランス |
| INT8 ConvRot | 4.5 GB | 任意のAmpere+ GPU | 推奨 — ほぼロスレス、Blackwell不要 |
| NVFP4 E2M1 | 2.9 GB | Blackwell(RTX 5090/5080) | 最小サイズ、ネイティブFP4テンソルコア |
| MXFP8 | 4.7 GB | Blackwell | E8M0ブロックスケールによる最良のダイナミックレンジ |
INT8 ConvRotバリアントは、SVDガイド付き学習丸めを使用して出力誤差を最小化しており、Blackwellハードウェアを必要とせず、任意のAmpere以降のGPUで動作するため、ほとんどのユーザーに推奨される選択肢です。
ComfyUIでKrea 2と一緒に使う
Krea 2はQwen3-VL-4Bテキストエンコーダーをプロンプト解釈に使用します。Hereticチェックポイントはドロップイン置換として機能します。
- HuggingFaceから
.safetensorsファイルのいずれかをダウンロード ComfyUI/models/text_encoders/に配置- 同じローダーノードを使用 — モデルは同一のQwen3-VL-4Bアーキテクチャを使用
fp8チェックポイント(4.2 GB)は、標準のqwen3vl_4b_fp8_scaled.safetensorsに最も近いものです。無検閲プロンプトでより高い忠実度を求める場合は、int8またはbf16バリアントを使用してください。
利用可能なバリアント
ComfyUIリポジトリは、3つのHereticモデル配布ファミリーに加わります。
- Qwen3-VL-4b-Heretic — transformers/vLLM用のBF16重み、フルビジョンエンコーダー付き
- Qwen3-VL-4b-Heretic-GGUF — llama.cpp/Ollama/LM Studio用GGUF量子化
- Qwen3-VL-4b-Heretic-ComfyUI — ComfyUIテキストエンコーダーチェックポイント(今回のリリース)
コミュニティの量子化担当者はすでに追加のGGUFバリアントを生成しており、リリースから数時間で合計1,000以上のダウンロード数を記録しています。
モデルの整合性
アブリテレーションは54個のテンソル(純粋なランク1編集)のみを変更し、モデルの大部分は手付かずのままです。MMLUスコアは実際に+0.03%向上(69.61% vs 69.58%)、GSM8Kはわずか1.83%低下 — 完全な無検閲能力を得るための許容可能なトレードオフです。
注記: このモデルは安全性調整を除去しており、有害なリクエストに応答します。責任を持って、該当する法律および規制に従って使用してください。
リンク
- モデル: DreamFast/Qwen3-VL-4b-Heretic-ComfyUI
- アブリテレーションツール: Heretic by p-e-w
- 量子化ツール: convert-to-quant by silveroxides
- Dockerパイプライン: heretic-docker