Batch CLIPSeg (BatchCLIPSeg) - ComfyUI-KJNodes

Узел Batch CLIPSeg технически использует предварительно обученную модель CLIPSeg для выравнивания входных текстовых промптов с признаками изображения и вычисляет оценку релевантности каждого пикселя тексту.

Узел Batch CLIPSeg — это инструмент для сегментации изображений на основе модели CLIP, способный автоматически генерировать соответствующие маски для изображения или пакета изображений на основе текстового описания. Его основная функция — преобразование инструкций на естественном языке в точные выделения визуальных областей, создание масок на основе семантики.

Функциональность узла

Технически этот узел использует предварительно обученную модель CLIPSeg для выравнивания входных текстовых промптов с признаками изображения и вычисляет оценку релевантности каждого пикселя тексту. Он поддерживает обработку входных данных типа IMAGE, состоящих из одного или нескольких изображений. Он преобразует карту оценок релевантности в бинарные или непрерывные маски через пороговую обработку и опционально применяет постобработку, такую как размытие по Гауссу.

Описание параметров узла - Batch CLIPSeg

Входные подключения (Inputs)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`images`	IMAGE	Да	-	-	images (входной параметр): Входное изображение или пакет изображений для сегментации. Поддерживается одно или несколько изображений.
`opt_model`	CLIPSEGMODEL	Нет	-	-	opt_model (входной параметр): Опциональный внешний вход модели CLIPSeg для использования вместо модели, загружаемой узлом по умолчанию.

Параметры управления (Parameters)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`text`	STRING	Да	-	-	"небо".
`threshold`	FLOAT	Да	0.5	0.0 - 10.0 (шаг: 0.001)	threshold (входной параметр): Устанавливает порог уверенности для сегментации, области выше этого значения сохраняются. Диапазон 0.0 - 10.0, шаг 0.001.
`binary_mask`	BOOLEAN	Да	True	-	binary_mask (входной параметр): Управляет бинаризацией маски (черно-белой). Если false, выводится непрерывная градационная маска.
`combine_mask`	BOOLEAN	Да	False	-	combine_mask (входной параметр): Управляет объединением всех сгенерированных масок в одну маску.
`use_cuda`	BOOLEAN	Да	True	-	use_cuda (входной параметр): Управляет использованием CUDA (GPU) для ускорения вычислений и повышения скорости обработки.
`blur_sigma`	FLOAT	Нет	0.0	0.0 - 100.0 (шаг: 0.1)	-
`prev_mask`	MASK	Нет	None	-	-
`image_bg_level`	FLOAT	Нет	0.5	0.0 - 1.0 (шаг: 0.01)	-
`invert`	BOOLEAN	Нет	False	-	-

Выходные данные (Output)

Имя параметра	Тип данных	Описание
Mask	MASK	Mask (выходной параметр): Выходная маска, которую можно использовать в последующих узлах обработки изображений.
Image	IMAGE	Image (выходной параметр): Выходное изображение, обычно совпадающее с входным, для связи в рабочем процессе.

Сценарии использования

В практических приложениях этот узел часто используется в рабочих процессах, требующих автоматического вырезания объектов на основе описания объекта или сцены. Например, при пакетной обработке изображений товаров можно ввести текст "туфля", чтобы быстро сгенерировать точные маски для туфель на всех изображениях, содержащих обувь, для последующей замены фона или локальной корректировки.

Важные замечания

Скорость обработки узла зависит от размера модели и использования ускорения на GPU. Для изображений с высоким разрешением или больших пакетов время обработки может быть значительным. Точность сегментации в значительной степени зависит от точности текстового описания и охвата данных, на которых обучалась модель.

Ссылка на исходный код узла Batch CLIPSeg

Узел Batch CLIPSeg взят из пакета узлов ComfyUI-KJNodes.

Batch CLIPSeg(BatchCLIPSeg)

Batch CLIP Seg