CreateInstanceDiffusionTracking

Узел CreateInstanceDiffusionTracking принимает строку JSON, содержащую координаты ограничивающих рамок объектов, и, комбинируя их с пользовательскими категориями, ID и промптами, формирует структуру данных для отслеживания, необходимую для InstanceDiffusion.

Узел CreateInstanceDiffusionTracking — это специализированный инструмент для генерации данных отслеживания экземпляров. Его основная функция заключается в упаковке координат объектов, информации о категориях и промптов в определённый формат, чтобы последующие узлы InstanceDiffusion могли распознавать и обрабатывать конкретные экземпляры на изображении. Этот узел является ключевым связующим звеном между детекцией объектов и тонкой генерацией изображений.

Функциональность узла

Этот узел принимает строку JSON, содержащую координаты ограничивающих рамок объектов, и, комбинируя их с пользовательскими категориями, ID и промптами, формирует структуру данных для отслеживания, необходимую для InstanceDiffusion. Его внутренний механизм следует специфическому формату InstanceDiffusion, например, организуя данные в виде "class_id.class_name": "prompt", что обеспечивает совместимость с нижестоящими узлами генерации.

Описание параметров узла - CreateInstanceDiffusionTracking

Параметры элементов управления (Parameters)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон/Опции	Описание
`coordinates`	STRING	Да	-	-	coordinates (входной параметр): Строка JSON, содержащая координаты ограничивающих рамок объектов. Является основой для генерации данных отслеживания. Формат должен соответствовать требованиям.
`width`	INT	Да	512	16 - 4096 (шаг: 1)	width (входной параметр): Прямая передача входного значения ширины изображения.
`height`	INT	Да	512	16 - 4096 (шаг: 1)	height (входной параметр): Прямая передача входного значения высоты изображения.
`bbox_width`	INT	Да	512	16 - 4096 (шаг: 1)	bbox_width (входной параметр): Прямая передача входного значения ширины ограничивающей рамки.
`bbox_height`	INT	Да	512	16 - 4096 (шаг: 1)	bbox_height (входной параметр): Прямая передача входного значения высоты ограничивающей рамки.
`class_name`	STRING	Да	class_name	-	class_name (входной параметр): Задаёт имя категории для отслеживаемого экземпляра, например, "person" или "car".
`class_id`	INT	Да	0	0 - 255 (шаг: 1)	class_id (входной параметр): Назначает экземпляру числовой ID для уникальной идентификации. Диапазон значений от 0 до 255.
`prompt`	STRING	Да	prompt	-	prompt (входной параметр): Прямая передача входного текста промпта.
`size_multiplier`	FLOAT	Нет	[1]	-	size_multiplier (входной параметр): Необязательный список значений с плавающей точкой для множителя размера.
`fit_in_frame`	BOOLEAN	Нет	True	-	fit_in_frame (входной параметр): Определяет, нужно ли вписать экземпляр в кадр.

Выходные данные (Output)

Имя параметра	Тип данных	Описание
tracking	TRACKING	Данные отслеживания, соответствующие формату InstanceDiffusion.
prompt	STRING	prompt (выходной параметр): Прямая передача входного текста промпта.
width	INT	width (выходной параметр): Прямая передача входного значения ширины изображения.
height	INT	height (выходной параметр): Прямая передача входного значения высоты изображения.
bbox_width	INT	bbox_width (выходной параметр): Прямая передача входного значения ширины ограничивающей рамки.
bbox_height	INT	bbox_height (выходной параметр): Прямая передача входного значения высоты ограничивающей рамки.

Сценарии использования

Этот узел очень полезен в рабочих процессах, связанных с созданием анимации или последовательной генерацией кадров видео. Например, можно сначала использовать узел детекции объектов для получения координат "головы человека" в каждом кадре видео, затем передать эту последовательность координат в данный узел, указав категорию "head" и соответствующий промпт. Таким образом, для узла InstanceDiffusion будет предоставлена точная, покадровая информация для управления экземплярами.

Важные замечания

При использовании необходимо убедиться, что входная строка с координатами является валидным JSON. Кроме того, формат выходных данных узла фиксирован и должен строго соответствовать требованиям входных данных узла InstanceDiffusion, иначе выполнение рабочего процесса может завершиться ошибкой.

Ссылка на исходный код узла CreateInstanceDiffusionTracking

Узел CreateInstanceDiffusionTracking взят из пакета узлов ComfyUI-KJNodes.