В ComfyUI появился узел Video Deflicker для покадрового апскейла
В ядро ComfyUI добавлен узел Video Deflicker от Kijai: он убирает мерцание в покадрово обработанном видео, а нативный поток RAFT работает в 2.3 раза быстрее torchvision.
В ядре ComfyUI появилась нода Video Deflicker: подайте ей кадры, которые мерцают после покадровой обработки, например после покадрового апскейла, и она подтянет каждый кадр к его соседям, сохраняя собственные детали. Нода добавлена в PR #17754 от Kijai, смерженном 15 ноября. Единственный дополнительный файл, который вам нужен, это checkpoint RAFT-large от torchvision в ComfyUI/models/optical_flow/.
Слева: клип, обработанный покадрово. Справа: тот же клип после Video Deflicker. Источник: Comfy-Org/ComfyUI #17754
Оба клипа рядом, по 53 кадра каждый, перекодированы в 720 px на панель.
Что она исправляет
- Покадровые апскейлы и покадровые правки, где каждый кадр обрабатывается отдельно, а небольшие различия между ними воспринимаются как мерцание.
- Передача чистого источника в
guideобеспечивает хороший результат: нода считывает движение с этих стабильных кадров, а не с мерцающих. Без guide она использует входные кадры и убирает меньше. - Реальные изменения сохраняются.
thresholdпомечает различия с соседним кадром после компенсации движения как настоящие, поэтому склейка или быстрое движение не размазываются.
Как это запустить
- Скачайте
raft_large.pth(torchvision RAFT-large, 21 MB) с download.pytorch.org вComfyUI/models/optical_flow/. ComfyUI никогда не скачивает веса оптического потока сам. - Добавьте ноду Load Optical Flow Model и выберите
raft_large.pth. - Добавьте Video Deflicker (категория
video) и подключите модель потока, мерцающие кадры и чистые исходные кадры кguide.
| Вход | По умолчанию | Что делает |
|---|---|---|
optical_flow | Обязательно | RAFT-large из Load Optical Flow Model |
images | Обязательно | мерцающие кадры |
guide | images | стабильные кадры для оценки движения, любое разрешение |
strength | 1.0 | насколько сильно каждый кадр следует за соседями; выше значение сглаживает больше мелких деталей |
direction | bidirectional | усредняет проход вперёд и назад; forward занимает вдвое меньше времени |
threshold | 0.1 | изменения выше этого значения остаются резкими; 0 сглаживает все изменения одинаково |
Оптический поток внутри вычисляется максимум в 768x768, поэтому guide в 4K уменьшается для оценки движения, и только само решение выполняется в полном разрешении.
Более быстрый RAFT в ядре
Тот же PR заменил raft_large из torchvision нативной реализацией: сети на fp16 с корреляцией на fp32, а цикл обновления выполняется как CUDA graph при динамической VRAM. Это примерно в 2,3 раза быстрее версии из torchvision при 1024x576. Ноды VOID warped-noise теперь тоже используют её.
Доступность
Нода находится в основной ветви после слияния 15 ноября. Последний помеченный релиз, v0.45.0 (10 ноября), вышел раньше неё, поэтому до следующего релиза используйте ночную сборку.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.