PixlStash 2.0が自分の画像ライブラリからLoRAを学習

ComfyUI Wikinews

PixlStash 2.0は、AI-toolkitによるLoRA学習、顔の類似クラスタ、キャラクターシートを、ComfyUIと連携する画像ライブラリに追加します。

PixlStash 2.0は11月10日にリリースされ(v2.0.0)、11月16日にはバグ修正版の2.0.1が公開されました。ComfyUIとAI-toolkitにリンクするデスクトップ向けの画像ライブラリで、画像を検索可能なデータベースに保存し、生成とLoRA学習を同じウィンドウから自分のGPUで実行できます。
ワークフローカードと、選択したワークフローのモデル、LoRA、パラメータが表示されたPixlStashのWorkflowsワークスペース

ワークフローはカードとして並び、そのカードは生成した画像で覆われます。インスペクターには各ワークフローのモデル、LoRA、パラメータ、以前のバージョンが一覧表示されます。

ライブラリから離れずにLoRAを学習

目玉となる追加機能はTrain LoRAです。人物またはセットを右クリックし、画像の被写体と学習の強さを選ぶと、アプリがGPU上でAI-toolkitを実行します。完成したLoRAはモデルの棚に置かれ、その人物に紐付けられるため、次回の生成ではComfyUIにファイルをコピーしたりモデルを再読み込みしたりせずに呼び出せます。

ある人物の顔の類似クラスタ。誰に似ているかでグループに分けられている

顔は類似度でグループ化されます。実際にその人物であるグループだけを残すことで、トレーニングセットから似ていない画像を除外できます。

このトレーニングセットを支える2つの補助機能があります。

  • 顔の類似クラスタは、ある人物の顔を誰に似ているかでグループ分けするため、生成時の失敗作を学習前に取り除けます。
  • トレーニングセットを作成は、アップ、全身、表情の中から最良の類似度と画質を選び、ほぼ重複した画像や他の人物を除外します。

画像が足りないキャラクター向けのキャラクターシート

参照画像が少なすぎる人物には、キャラクターシートを生成して描き起こします。正面、斜め45度、横顔のパスポート風写真4枚に、全身ショット2枚を加えたものです。各シートは元になった参照画像との一致度を報告し、シート上の各写真も同様に報告します。残したシートはそのキャラクターの画像になり、それ以外はスクラップ置き場に送られます。

陶器製のガーデンノームの生成済みキャラクターシート

1枚の画像から作ったキャラクター向けに生成されたシート。ワークフローは選択可能で、FLUX.2 Klein 9BやQwen Image Edit 2.1も含まれます。

キャラクターシートのワークフローはKrea 2、MOSS-Image、FLUX.2 Klein 9B、Qwen Image Edit 2.1向けに調整済みで、動画ワークフローも同じ経路で実行されます。

ComfyUIとの双方向リンク

PixlStashノードパックは双方向に動作します。PixlStashからワークフローを実行することも、PixlStashのローダー/セーバーノードを自分のグラフに追加して、結果を人物、セット、プロジェクトのタグ付きでライブラリに戻すこともできます。

ComfyUIワークフロー内のPixlStashローダー/セーバーノード

セーバーノードは、プロンプト、モデル、LoRAの強度、シードを付けて生成結果をライブラリに書き戻します。

今回のリリースには以下も含まれます。

  • 3つのワークスペースでアプリをMedia、Workflows、Modelsに分割し、それぞれに専用のサイドバーを用意。
  • モデルを棚として管理し、すべてのドライブにまたがって表示。フォルダーを移動してもインデックスは維持されます。
  • 複数のComfyUI接続に対応し、ノートPCからレンダリングマシンに作業をキューイングできます。空きVRAMに収まらない実行は失敗せずに待機します。

はじめに

リリースページからWindows、Linux、macOS向けのデスクトップ版をインストールするか、Dockerイメージghcr.io/pikselkroken/pixlstashでヘッドレスで実行できます。サーバーUIのデモはdemo.pixlstash.devで公開されています。

次に設定 › ComfyUIを開きます。アプリがローカルのComfyUIを見つけ、そこにノードをインストールして両者をリンクします。ノードはComfyUI Registryでもpixlstashとして公開されており、約4,500ダウンロードを記録しています。すべてCUDA、Apple Silicon、ROCm上でローカルに動作します。学習機能にはAI-toolkitが必要です。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
PixlStash 2.0が自分の画像ライブラリからLoRAを学習 | ComfyUI Wiki