Qwen3-VL-4B Heretic: ComfyUI에서 Krea 2를 위한 무검열 텍스트 인코더

news

DreamFast가 ComfyUI용 무검열 Qwen3-VL-4B 텍스트 인코더를 출시했습니다. BF16, FP8, INT8, NVFP4 및 MXFP8 형식에서 100% HarmBench ASR을 달성했습니다.

Qwen3-VL-4B-Instruct Heretic

DreamFast가 Qwen3-VL-4B-Instruct Heretic (ComfyUI)을 출시했습니다. 이 모델은 Qwen3-VL-4B-Instruct 텍스트 인코더의 완전히 제거된(abliterated) 버전으로, ComfyUI용으로 패키징되었습니다. 안전 가드레일을 제거하면서도 출력 품질을 유지하며, 베이스 모델의 30.8%에 비해 100% HarmBench ASR(공격 성공률)을 달성하고 벤치마크 성능 저하는 최소화했습니다.

제거된(abliterated) 텍스트 인코더란?

Abliteration은 모델을 재학습하지 않고 안전 거부 회로를 선택적으로 제거하는 과정입니다. Krea 2와 같은 이미지 생성 워크플로에서 텍스트 인코더는 사용자 프롬프트를 해석하며, 기본 Qwen3-VL-4B 인코더는 프롬프트된 콘텐츠의 약 30%를 거부합니다. Heretic 변형은 이러한 거부를 제거하면서 인코더의 의미 이해 능력을 그대로 유지합니다.

법의학 보고서에 따르면 KL 발산은 0.0283(낮을수록 좋음)에 불과하고 GSM8K 하락률은 -1.83%에 그쳐, 모든 시도 중 가장 덜 파괴적인 변형으로 나타났습니다.

다섯 가지 양자화 형식

이 모델은 전체 정밀도부터 Blackwell에 최적화된 4비트까지 총 5가지 형식으로 제공됩니다:

형식크기하드웨어최적 용도
BF168.3 GB모든 GPU최대 정밀도
FP8 E4M34.2 GBAda+ (RTX 4090)속도와 품질 균형
INT8 ConvRot4.5 GB모든 Ampere+ GPU권장 — 거의 손실 없음, Blackwell 필요 없음
NVFP4 E2M12.9 GBBlackwell (RTX 5090/5080)가장 작은 크기, 네이티브 FP4 텐서 코어
MXFP84.7 GBBlackwellE8M0 블록 스케일로 최적의 동적 범위

INT8 ConvRot 변형은 SVD 기반 학습된 반올림을 사용하여 출력 오류를 최소화하므로, 대부분의 사용자에게 권장됩니다. Blackwell 하드웨어 없이 Ampere 이후 GPU에서 실행할 수 있습니다.

ComfyUI에서 Krea 2와 함께 사용하기

Krea 2는 프롬프트 해석기로 Qwen3-VL-4B 텍스트 인코더를 사용합니다. Heretic 체크포인트는 드롭인 교체 방식으로 사용할 수 있습니다:

  1. HuggingFace에서 .safetensors 파일 중 하나를 다운로드합니다.
  2. ComfyUI/models/text_encoders/ 폴더에 넣습니다.
  3. 동일한 로더 노드를 사용하세요. 모델은 동일한 Qwen3-VL-4B 아키텍처를 사용합니다.

fp8 체크포인트(4.2 GB)는 기본 qwen3vl_4b_fp8_scaled.safetensors와 가장 가깝습니다. 무검열 프롬프트에서 더 높은 정밀도를 원한다면 int8 또는 bf16 변형을 사용하세요.

Heretic 변형 간 벤치마크 비교

제공되는 변형

ComfyUI 저장소는 세 가지 Heretic 모델 배포군에 속합니다:

커뮤니티의 양자화 도구 사용자들은 이미 추가 GGUF 변형을 만들었으며, 출시 후 몇 시간 만에 1,000회 이상의 다운로드를 기록했습니다.

모델 무결성

Abliteration은 54개의 텐서(순수 랭크-1 편집)만 수정하여 모델의 대부분을 건드리지 않았습니다. MMLU 점수는 실제로 +0.03% 향상(69.61% 대 69.58%)되었으며, GSM8K는 1.83%만 하락해 완전한 무검열 기능을 위한 수용 가능한 절충안입니다.

참고: 이 모델은 안전 정렬을 제거했으며 유해한 요청에 응할 수 있습니다. 책임감 있게 사용하고 관련 법규를 준수하십시오.

링크

Qwen3-VL-4B Heretic: ComfyUI에서 Krea 2를 위한 무검열 텍스트 인코더 | ComfyUI Wiki