OpenFill добавляет генеративное заполнение ComfyUI в PhotoCraft и GIMP

Генеративное заполнение в Photoshop: та самая часть подписки, по которой люди скучают, покидая её. OpenFill воссоздаёт его в виде двух плагинов: сначала, ранее в этом месяце, вышел плагин для GIMP 3.2, а теперь появилась панель для PhotoCraft, открытого редактора изображений на Rust, который читает и записывает PSD-файлы со слоями.

В обоих редакторах взаимодействие одинаковое. Вы делаете выделение, выделение становится маской, а результат появляется на новом слое за один шаг истории, так что ничего под ним не закрашивается. Здесь не нужно собирать граф узлов и не нужно держать открытой вкладку браузера. В GIMP инструменты находятся в Filters > OpenFill; в PhotoCraft это панель рядом с холстом плюс Filter > Plug-ins > OpenFill.

Четыре операции

• Заполнение по промпту. Выделите область, введите что-то вроде "a red door with brass handles" и нажмите Enter. До пяти вариантов можно сохранить или отклонить.
• Удаление объекта. Промпт не нужен: выделение стирается, а фон продолжается в собственном разрешении изображения.
• Генеративное расширение. Протяните края холста наружу или выберите пропорции, и новая граница будет дорисована. Промпт необязателен.
• Создание. Новое изображение или новый слой по промпту, размером с выделение, если оно есть.

Бэкенд: ComfyUI, скрытый от глаз

ComfyUI запускается вместе с редактором, остаётся в памяти, пока вы работаете, и завершается при закрытии редактора. Он слушает только 127.0.0.1, а единственный сетевой трафик: поиск моделей и явные загрузки, которые проверяются по размеру и SHA-256. В Windows установщик может загрузить сам ComfyUI, включая сборку для AMD; в остальных случаях вы указываете путь к существующей установке.

Менеджер моделей не поставляет модели. Он рекомендует веса, подходящие под видеокарту и диск, а также находит ваши собственные файлы SD 1.5 inpainting, SDXL и FLUX.1 Fill (.safetensors и .gguf) в папках ComfyUI.

Где он пока не дотягивает

Собственный список статусов проекта прямо говорит о шероховатостях, и в основном они касаются того, что рисуют модели, а не самого плагина:

• Заполнение FLUX и Qwen, а также «Расширение» и «Создание» работают примерно при 1024 px и затем масштабируются вверх, поэтому на больших изображениях результат получается мягче. На удаление это не влияет.
• SD 1.5 часто игнорирует промпт на однородных областях и небольших выделениях.
• FLUX на 8 ГБ работает медленно.

Первые ответы в ветке r/comfyui отметили ту же мягкость: размытое пятно там, где был удалён автомобиль. Автор связал это с тем, что в демо использовался RealVisXL, который работает только примерно при 1024 px, поэтому фрагмент большого фото уменьшается и затем растягивается обратно, и сказал, что сохранение большей части исходного разрешения уже в процессе.

Доступность

OpenFill требует видеокарту NVIDIA или Radeon RX 7000 и новее, с 8 ГБ для качественных моделей, и работает в Windows 10/11 и Linux. Плагин для GIMP также работает на macOS. PhotoCraft поддерживает Apple Silicon: в собственном тесте проекта на M3 MacBook Air с 16 ГБ все четыре операции завершились, причём удаление заняло 4,0 с, а расширение превратило изображение 512 x 384 в 576 x 448 за 14,1 с. Эти цифры: функциональные проверки, а не замеры скорости. Поддержка AMD новая, пока есть только один отзыв от пользователя RX 7800 XT.

Обе сборки в статусе бета. Загрузки и списки изменений на странице релизов; проект заявляет, что не связан с PhotoCraft и что начинался как порт gimp-stable-boy Торбена Гиссельманна (Torben Giesselmann) для GIMP 3, а графы инпейтинга построены на comfyui-inpaint-nodes от Acly.