ComfyUI で MOSS-Image 制御 LoRA を使う: Canny・Depth・Pose

thedeoxen は 11 月 10 日、MOSS-Image-SFT 向けの制御 LoRA 7 種を公開しました。canny、depth、pose、normal、lineart、scribble、segmentation です。いずれも約 290 MB の rank-64 LoRA 単体で構成され、専用の ComfyUI ワークフローとコントロール画像から結果までのサンプルグリッドが付属しているため、手持ちのマップを選んでそのまま実行できます。

これらは編集用の LoRA であり、新しい制御モデルではありません。マップは参照画像として入力し、その形が何になるかはプロンプトが決めます。

深度制御（左端）と、異なるプロンプトによる生成結果

各 LoRA が受け取る入力

実行方法

1. MOSS-Image-SFT をロードします: UNet は moss_image_sft_int8_convrot.safetensors、CLIP は qwen3.5_9b_w4a8_gptq.safetensors（type は moss_image）、VAE は flux2-vae_small.safetensors。
2. UNet に LoRA を適用し、強度を 1.0 にします。制御がきつすぎる場合は 0.7 程度まで下げてください。
3. コントロールマップを唯一の参照画像として Text Encode MOSS-Image Edit に入力し、ポジティブとネガティブの両方のエンコードで edit_format を ai-toolkit に設定します。これらの LoRA は kv cache を有効にして学習されています。
4. 30 steps、CFG 4、euler、simple でサンプリングします。

ワークフロー内の前処理（Canny、Depth Anything V2、DWPose、BAE、LineArt、HED、UniFormer）は ComfyUI 本体ではなく ControlNet Auxiliary Preprocessors パックのものです。すでにマップがある場合は前処理を省略し、画像をそのままエンコードノードに接続してください。

UniFormer によるフラットカラーの領域を、プロンプトごとにスタイル変更

公式アダプターとの違い

公式の MOSS-Image カラー/深度制御アダプター はノイズから開始し、領域マップと深度マップを条件付けとして受け取ります。一方、これらの LoRA はマップを参照画像として扱うため、7 種類のどのマップでも動作し、外観はすべてプロンプトが担います。その代わり、強い制御では拘束が強くなりすぎることがあり、レイアウトが固まって見える場合は強度 0.7 を推奨しています。

ダウンロード

ベースモデル: OpenMOSS-Team/MOSS-Image-SFT。各リポジトリには専用の moss_image_<type>_control.json が含まれており、3 つのベースファイルを配置したうえで ComfyUI にドラッグ&ドロップできます。