SV3D Batch Schedule (SV3D_BatchSchedule) - ComfyUI-KJNodes

Узел SV3D Batch Schedule получает исходное изображение, извлекает его визуальные признаки с помощью кодировщика CLIP Vision и кодирует его в латентное пространство с использованием VAE.

Узел SV3D Batch Schedule — это инструмент условного планирования, разработанный специально для модели SV3D от Stability AI. Его основная функция — позволить пользователю генерировать пакет латентных представлений для входного исходного изображения с различными условиями углов обзора камеры (азимут и угол места), закладывая основу для последующего создания согласованных 3D-видео или последовательностей изображений с нескольких ракурсов.

Функциональность узла

Этот узел принимает исходное изображение, извлекает его визуальные признаки с помощью кодировщика CLIP Vision и кодирует его в латентное пространство с помощью VAE. Его ключевой механизм заключается в том, что пользователь может с помощью строки специального формата точно определить значения азимута и угла места камеры для каждого кадра (или определенного ключевого кадра) в генерируемом пакете. Узел плавно интерполирует параметры обзора между этими ключевыми кадрами в соответствии с выбранным методом интерполяции, и в итоге выводит соответствующие позитивные/негативные условные промпты для всего пакета, а также единое латентное представление.

Описание параметров узла — SV3D Batch Schedule

Входные соединения (Inputs)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`clip_vision`	CLIP_VISION	Да	-	-	Вход для модели CLIP Vision, используемой для кодирования исходного изображения и извлечения семантических признаков для генерации условий.
`init_image`	IMAGE	Да	-	-	Входное исходное эталонное изображение, на основе которого узел будет генерировать последующие латентные представления для разных ракурсов.
`vae`	VAE	Да	-	-	Вариационный автокодировщик, используемый для кодирования входного исходного изображения в латентное пространство, создавая отправную точку для последующего процесса денойзинга.

Параметры управления (Parameters)

Имя параметра	Тип данных	Обязательный	Значение по умолчанию	Диапазон значений/Опции	Описание
`interpolation`	COMBO	Да	linear	"linear", "ease_in", "ease_out", "ease_in_out"	Выбор метода интерполяции углов между ключевыми кадрами. Доступны "линейная" или различные функции плавности (easing functions) для управления кривой скорости изменения ракурса.
`width`	INT	Да	576	16 - MAX_RESOLUTION (шаг: 8)	Устанавливает ширину выходного латентного изображения. Диапазон от 16 до максимального разрешения, поддерживаемого системой. Шаг изменения — 8.
`height`	INT	Да	576	16 - MAX_RESOLUTION (шаг: 8)	Устанавливает высоту выходного латентного изображения. Диапазон от 16 до максимального разрешения, поддерживаемого системой. Шаг изменения — 8.
`batch_size`	INT	Да	21	1 - 4096	Определяет размер генерируемого пакета латентных представлений, т.е. общее количество кадров для генерации. Диапазон от 1 до 4096.
`azimuth_points_string`	STRING	Да	`0:(0.0),\n9:(180.0),\n20:(360.0)\n`	-	Определяет расписание ключевых кадров для азимута (угол горизонтального поворота) с помощью строки специального формата, например: "0:(0.0), 10:(90.0)".
`elevation_points_string`	STRING	Да	`0:(0.0),\n9:(0.0),\n20:(0.0)\n`	-	Определяет расписание ключевых кадров для угла места (угол вертикального поворота) с помощью строки специального формата, например: "0:(0.0), 10:(30.0)".

Выходные данные (Output)

Имя параметра	Тип данных	Описание
positive	CONDITIONING	Выход, содержащий информацию позитивного (положительного) условного промпта, используемого для направления процесса генерации.
negative	CONDITIONING	Выход, содержащий информацию негативного (отрицательного) условного промпта, используемого для ограничения процесса генерации.
latent	LATENT	Пакет обработанных латентных представлений после кодирования, который служит входными данными для последующих семплеров.

Сценарии использования

Вы можете использовать этот узел при создании 3D-видео с вращением вокруг объекта. Сначала загрузите одно изображение объекта как init_image, затем установите ключевые кадры от 0 до 360 градусов в azimuth_points_string, а elevation_points_string оставьте равным 0. После подключения моделей CLIP Vision и VAE, выходные данные узла latent и условная информация могут быть переданы в KSampler для денойзинг-сэмплирования, что в итоге позволит сгенерировать плавную вращающуюся последовательность.

Важные замечания

Обратите внимание, что SV3D по своей сути все еще является видео-моделью, поэтому планирование ракурсов должно всегда продвигаться вперед по временной оси. Входные строки для азимута и угла места должны строго соответствовать формату индекс_кадра:(значение_угла), иначе может возникнуть ошибка.

Ссылка на исходный код узла SV3D Batch Schedule

Узел SV3D Batch Schedule взят из пакета узлов ComfyUI-KJNodes.

SV3D Batch Schedule(SV3D_BatchSchedule)