Lightning v2 RL: RLで磨き上げた4ステップのQwen-Image 2.1

4ステップのRLチェックポイントによる1024 x 1024のレンダリング「Dolphin at a Burning Shoreline」。

LoRAから変わった点

10月のリリースは、67 MBのアダプターを標準のQwen-Image 2.1チェックポイントに付加し、サンプリング時に固定のシグマリストに依存していました。v2はその構成の両方を変更しています。

• アダプターではなくフルtransformerの重み: 単一の diffusion_pytorch_model.safetensors をFP32で格納（28.5 GB）し、専用の config.json を同梱します。モデルカードには、推論時はBF16で読み込めることが記載されています。積み重ねるLoRAはありません。
• 蒸留後の強化学習ステージ。 カードでは、このチェックポイントはLightning v2をRLで改良したバージョンであり、LightX2V RL でトレーニングされたと説明されています。公開されているのは改良後のチェックポイントのみで、RL適用前のv2の重みは比較用に提供されていません。
• 1つのチェックポイントで3つのタスク: テキストから画像への生成、単一参照編集、複数参照生成で、これはv1も対象としていました。

4ステップのスケジュール

サンプリング設定は inference_config.json として提供され、v1のLoRAが使っていた均一なスケジュールではありません。v2は 1.0、0.95418、0.89508、0.704534 の4つのシグマで実行し、true_cfg_scale は 1.0、KVキャッシュは有効です。

pipe.scheduler = FlowMatchEulerDiscreteScheduler(
    **inference_config["scheduler"],
)
image = pipe(
    prompt=prompt,
    width=1024,
    height=1024,
    sigmas=SIGMAS,                    # 1.0, 0.95418, 0.89508, 0.704534
    num_inference_steps=len(SIGMAS),
    true_cfg_scale=1.0,
    use_kv_cache=True,
)

3つのステップが0.89を超える位置にあり、4つ目のステップで0.895から0.705へ下がった後、スケジューラが終端のゼロを追加するため、ノイズ除去の大部分は前半に集中します。READMEでは、num_inference_steps=4 を設定するだけではこのスケジュールを再現できないこと、また格納されているシグマはすでにシフト済みであるため、動的シフトはオフのままにしておく必要があることが明記されています。

4ステップと40ステップの比較

リポジトリでは、すべての例に対して、元のQwen-Image 2.1の重みによる40ステップ実行を併記しています。プロンプト、シード、CFG 1.0、1024 x 1024の出力はいずれも同一です。

ベースモデル、40ステップ	Lightning v2 RL、4ステップ
焼け跡の海岸に立つイルカ	焼け跡の海岸に立つイルカ
雨に濡れた古びた自転車	雨に濡れた古びた自転車

どちらのプロンプトも長く構造化されたシーン記述です。イルカの方は、雲の色、煙の柱、焦げた梁、燠の配置、背びれの光の当たり方までを述べてから終わります。自転車の方は、各フレームチューブの錆、スポークの本数、雨の筋までを述べます。カードではこれらを厳選された検証用の例として提示しており、ベンチマークではないこと、また細かい文字、人体の構造、オブジェクトの数、参照の正確な保持については引き続き確認が必要な場合があると注意を促しています。

単一参照の編集

編集の場合、参照画像はパイプラインの image 引数として、指示を含む同じ呼び出しの中で渡します。

参照	ベースモデル、40ステップ	Lightning v2 RL、4ステップ

「空の上中央を飛んでいる鳥を、同じ位置と距離で飛翔するドラゴンに置き換えてください。…それ以外はすべて完全に変更しないでください: 段状の石造建築…幾重にも流れ落ちる滝…」

このプロンプトはドラゴンを鳥の飛行方向に固定し、そのうえで動かしてはならないものを列挙しています。石の回廊、屋上の庭園、滝、ヤシの木、霧、かすんだ空です。リポジトリにある2つ目の編集例では、ギタリストのシーンを入れ替えています。

複数参照生成

複数参照の経路では、複数の画像を一度に受け取り、プロンプト内でインデックス（<image1>、<image2>）によって指定します。これにより、カード内でも2つの参照を明確に区別できます。

参照	ベースモデル、40ステップ	Lightning v2 RL、4ステップ

「<image1>（キャンバス）上で、<image2> から抽出したフードボウルを木製のテーブルに置いてください。…追加したボウルと食べ物は、<image2> のフォトリアルなスタイルではなく、<image1> と同じ柔らかな3Dイラスト調でレンダリングしてください。…」

この指示には、スケール、パースペクティブ、光の方向、影の方向が含まれ、さらにキャンバスから保持すべきものの明示的なリストが続きます。少女の顔、カーディガン、湯気の立つカップ、フルーツボウル、彼女の後ろの棚です。2つ目の複数参照の例では、花柄の磁器模様を人物のシーンにあるティーポットへ転写しています。

入手方法

重み: Hugging Faceの lightx2v/Qwen-Image-2.1-Lightning-v2-RL。ベースモデル: Qwen/Qwen-Image-2.1。トレーニングと推論のフレームワーク: ModelTC/LightX2V。

公開されているファイルはDiffusersレイアウト（QwenImage21Transformer2DModel、32レイヤー、32ヘッド）で、カードのクイックスタートでは、パイプラインのtransformerを置き換えることで QwenImage21Pipeline 経由で読み込みます。リポジトリにはComfyUI形式の重みは含まれておらず、リリース時点では変換済みチェックポイント、GGUFビルド、ローダーはいずれも存在しないため、LightningをComfyUIで使う経路は引き続き v1 LoRA となります。