PixlStash 2.0 обучает LoRA из вашей собственной библиотеки изображений

ComfyUI Wikinews

PixlStash 2.0 добавляет обучение LoRA через AI-toolkit, кластеры схожести лиц и листы персонажей в библиотеку изображений, связанную с ComfyUI.

PixlStash 2.0 вышел 10 ноября (v2.0.0), а 16 ноября появился патч с исправлениями 2.0.1. Это настольная библиотека изображений, связанная с ComfyUI и AI-toolkit: вы храните снимки в базе с поиском, а генерация и обучение LoRA выполняются в одном окне на вашей собственной GPU.
Рабочее пространство Workflows в PixlStash с карточками рабочих процессов, а также моделями, LoRA и параметрами выбранного рабочего процесса

Рабочие процессы представлены карточками, обложки которых составлены из созданных ими изображений. Инспектор перечисляет модели, LoRA, параметры и ранее созданные версии каждого рабочего процесса.

Обучите LoRA, не покидая библиотеку

Главное новшество это Train LoRA. Нажмите правой кнопкой на человеке или наборе, выберите субъект на фотографиях и интенсивность обучения, и приложение запустит AI-toolkit на вашей GPU. Готовая LoRA попадает на полку моделей и прикрепляется к этому человеку, поэтому следующая генерация может её вызвать без копирования файлов в ComfyUI и без перезагрузки модели.

Кластеры схожести лиц для одного человека, разбитые на группы по тому, на кого они похожи

Лица группируются по схожести. Если оставить группу, которая действительно является нужным человеком, из обучающего набора уйдут почти-совпадения.

Обучающий набор формируют два помощника:

  • Кластеры схожести лиц сортируют лица одного человека на группы по тому, на кого они похожи, поэтому сгенерированные промахи отсеиваются ещё до обучения.
  • Создать обучающий набор выбирает лучшее сходство и качество изображения среди крупных планов, снимков в полный рост и выражений лица, пропуская почти-дубликаты и других людей.

Листы персонажей для персонажей без изображений

Если у персонажа слишком мало референсов, Generate character sheets рисует их вместо вас: четыре снимка в стиле паспорта спереди, в три четверти и в профиль, плюс два снимка тела. Каждый лист сообщает, насколько он соответствует исходному референсу, и каждая фотография на нём тоже. Листы, которые вы оставляете, становятся изображениями персонажа; остальные отправляются в корзину.

Сгенерированный лист персонажа в виде керамического садового гнома

Сгенерированный лист для персонажа, созданного по одному изображению. Рабочий процесс можно выбрать, включая FLUX.2 Klein 9B и Qwen Image Edit 2.1.

Рабочие процессы для листов персонажей поставляются настроенными для Krea 2, MOSS-Image, FLUX.2 Klein 9B и Qwen Image Edit 2.1, а видеорабочие процессы запускаются тем же путём.

Двусторонняя связь с ComfyUI

Пакет узлов PixlStash работает в обоих направлениях: запускайте рабочие процессы из PixlStash или вставляйте узлы загрузчика и сохранения PixlStash в свой собственный граф, чтобы результаты возвращались с тегами людей, наборов и проектов.

Узлы загрузчика и сохранения PixlStash внутри рабочего процесса ComfyUI

Узел сохранения записывает сгенерированные изображения обратно в библиотеку вместе с промптом, моделями, силами LoRA и seed.

Также в этом выпуске:

  • Три рабочих пространства делят приложение на Media, Workflows и Models, каждое со своей боковой панелью.
  • Модели как полка на всех дисках, с перемещением папок, при котором индекс остаётся неповреждённым.
  • Несколько подключений ComfyUI, так что ноутбук может ставить задачи в очередь на рендер-машине, а запуски, которым не хватает свободной VRAM, ждут вместо сбоя.

Начало работы

Установите настольную сборку для Windows, Linux или macOS со страницы релизов или запустите её без графического интерфейса с помощью Docker-образа ghcr.io/pikselkroken/pixlstash. Демо серверного интерфейса доступно на demo.pixlstash.dev.

Затем откройте Настройки › ComfyUI: приложение найдёт локальный ComfyUI, установит в него свои узлы и свяжет их. Узлы также есть в ComfyUI Registry под именем pixlstash, с примерно 4 500 загрузок. Всё работает локально на CUDA, Apple Silicon или ROCm; для обучения необходима вторая половина в виде AI-toolkit.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
PixlStash 2.0 обучает LoRA из вашей собственной библиотеки изображений | ComfyUI Wiki