В ComfyUI появился узел Video Deflicker для покадрового апскейла

ComfyUI Wikinews

В ядро ComfyUI добавлен узел Video Deflicker от Kijai: он убирает мерцание в покадрово обработанном видео, а нативный поток RAFT работает в 2.3 раза быстрее torchvision.

В ядре ComfyUI появилась нода Video Deflicker: подайте ей кадры, которые мерцают после покадровой обработки, например после покадрового апскейла, и она подтянет каждый кадр к его соседям, сохраняя собственные детали. Нода добавлена в PR #17754 от Kijai, смерженном 15 ноября. Единственный дополнительный файл, который вам нужен, это checkpoint RAFT-large от torchvision в ComfyUI/models/optical_flow/.

До и после Video Deflicker

Слева: клип, обработанный покадрово. Справа: тот же клип после Video Deflicker. Источник: Comfy-Org/ComfyUI #17754

Оба клипа рядом, по 53 кадра каждый, перекодированы в 720 px на панель.

Что она исправляет

  • Покадровые апскейлы и покадровые правки, где каждый кадр обрабатывается отдельно, а небольшие различия между ними воспринимаются как мерцание.
  • Передача чистого источника в guide обеспечивает хороший результат: нода считывает движение с этих стабильных кадров, а не с мерцающих. Без guide она использует входные кадры и убирает меньше.
  • Реальные изменения сохраняются. threshold помечает различия с соседним кадром после компенсации движения как настоящие, поэтому склейка или быстрое движение не размазываются.

Как это запустить

  1. Скачайте raft_large.pth (torchvision RAFT-large, 21 MB) с download.pytorch.org в ComfyUI/models/optical_flow/. ComfyUI никогда не скачивает веса оптического потока сам.
  2. Добавьте ноду Load Optical Flow Model и выберите raft_large.pth.
  3. Добавьте Video Deflicker (категория video) и подключите модель потока, мерцающие кадры и чистые исходные кадры к guide.
ВходПо умолчаниюЧто делает
optical_flowОбязательноRAFT-large из Load Optical Flow Model
imagesОбязательномерцающие кадры
guideimagesстабильные кадры для оценки движения, любое разрешение
strength1.0насколько сильно каждый кадр следует за соседями; выше значение сглаживает больше мелких деталей
directionbidirectionalусредняет проход вперёд и назад; forward занимает вдвое меньше времени
threshold0.1изменения выше этого значения остаются резкими; 0 сглаживает все изменения одинаково

Оптический поток внутри вычисляется максимум в 768x768, поэтому guide в 4K уменьшается для оценки движения, и только само решение выполняется в полном разрешении.

Более быстрый RAFT в ядре

Тот же PR заменил raft_large из torchvision нативной реализацией: сети на fp16 с корреляцией на fp32, а цикл обновления выполняется как CUDA graph при динамической VRAM. Это примерно в 2,3 раза быстрее версии из torchvision при 1024x576. Ноды VOID warped-noise теперь тоже используют её.

Доступность

Нода находится в основной ветви после слияния 15 ноября. Последний помеченный релиз, v0.45.0 (10 ноября), вышел раньше неё, поэтому до следующего релиза используйте ночную сборку.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
В ComfyUI появился узел Video Deflicker для покадрового апскейла | ComfyUI Wiki