Nœuds Nvidia VFX pour ComfyUI 0.2.1 : RTX, HDR, interpolation
Les nœuds Nvidia VFX de Comfy-Org passent en 0.2.1 avec RTX Super Resolution, RTX Video HDR et Frame Generation, un template officiel et l'installation via le Gestionnaire.
nvidia-vfx de NVIDIA. La version 0.2.1 est arrivée sur le registre Comfy le 13 octobre, le jour même où un modèle officiel RTX Video Enhance a rejoint les modèles de flux de travail de ComfyUI, et le pack s'installe désormais depuis le Gestionnaire ComfyUI comme n'importe quelle autre extension. Les trois nœuds gèrent la super résolution vidéo par IA, la conversion SDR vers HDR et l'interpolation d'images au sein d'un graphique ComfyUI ordinaire.
La chaîne RTX complète : super résolution, puis HDR, puis génération d'images. Source : ComfyUI Nvidia VFX Nodes.
Ce que le pack apporte
L'extension portait auparavant le nom Nvidia RTX Nodes, et ce renommage constitue le principal changement de la version 0.2.x. Le nœud TrueHDR s'appelle désormais RTX Video HDR, et le pack est publié sous le nom comfyui_nvidia_rtx_nodes par l'éditeur comfyui sur le registre.
| Nœud | Catégorie | Entrée | Sortie |
|---|---|---|---|
| RTX Video Super Resolution | image/upscaling | lot IMAGE | upscaled_images, même nombre d'images |
| RTX Video HDR | image/enhancement | lot IMAGE | hdr_images, mêmes dimensions |
| RTX Video Frame Generation | video | lot IMAGE | interpolated_images avec de nouvelles images entre les originales |
Les trois fonctionnent sur des lots IMAGE de ComfyUI, ils s'insèrent donc entre un nœud Load Video et un nœud Create Video sans aucun téléchargement de modèle et sans toucher au graphique d'échantillonnage.
RTX Video Super Resolution
Ce nœud prend un lot d'images ou d'images vidéo décodées et le renvoie mis à l'échelle, débruité ou accentué, l'opération étant choisie dans une longue liste de modes de qualité.
| Modes | Opération |
|---|---|
BICUBIC | Interpolation bicubique non IA |
LOW / MEDIUM / HIGH / ULTRA | Mise à l'échelle par IA standard pour les sources compressées, du plus rapide au plus détaillé |
de DENOISE_LOW à DENOISE_ULTRA | Suppression du bruit et des artefacts de compression à résolution identique |
de DEBLUR_LOW à DEBLUR_ULTRA | Accentuation à résolution identique pour les sources floues |
de HIGHBITRATE_LOW à HIGHBITRATE_ULTRA | Mise à l'échelle pour les sources propres ou sans perte, avec une suppression d'artefacts moindre |
STREAMING_MEDIUM / STREAMING_ULTRA | Mise à l'échelle optimisée pour la diffusion et les flux de webcam |
La taille de sortie peut être définie comme un facteur d'échelle entre 1x et 4x ou comme des dimensions cibles explicites, et elle est arrondie au multiple de 8 le plus proche. DENOISE_* et DEBLUR_* conservent toujours les dimensions d'entrée, quel que soit le réglage de redimensionnement. Le nombre d'images et la fréquence d'images ne sont jamais modifiés, une vidéo conserve donc la même durée.
Une passe de mise à l'échelle vidéo avec RTX Video Super Resolution. Source : ComfyUI Nvidia VFX Nodes.
Le même nœud sur un lot d'images fixes. Source : ComfyUI Nvidia VFX Nodes.
Pour maîtriser la mémoire, le nœud découpe le lot en blocs d'au plus 16 mégapixels de sortie, avec au moins une image par bloc.
RTX Video HDR
Ce nœud convertit des images SDR en données HDR. Il expose le contraste, la saturation, le gris moyen et une luminance de crête cible entre 400 et 2000 nits, ainsi qu'une passe de débanding et un choix entre une sortie BT.2020/HLG (HDR) et BT.2020/PQ (HDR PQ).
Une vidéo passant par RTX Video HDR. Source : ComfyUI Nvidia VFX Nodes.
Un IMAGE ComfyUI ne porte aucune métadonnée d'espace colorimétrique, les valeurs renvoyées par le nœud ne sont donc des signaux HDR que par intention. Ce qui les enregistre ou les encode en aval doit être configuré pour les traiter comme du BT.2020/HLG ou du BT.2020/PQ, sinon le résultat sera incorrect s'il est interprété comme des données SDR ordinaires. Pour les clips longs, le référentiel fournit un exemple découpé qui coupe la vidéo en blocs, convertit chaque bloc et reconcatène les résultats.
La recette HDR pour vidéos longues, qui traite les images par blocs. Source : ComfyUI Nvidia VFX Nodes.
RTX Video Frame Generation
Le troisième nœud interpole entre des images adjacentes, soit sous forme d'un multiplicateur de fréquence d'images entre 2x et 16x, soit à un pas de temps explicite entre 0.01 et 0.99, ce qui couvre à la fois le ralenti et la conversion de fréquence d'images. Il détecte automatiquement les changements de plan, et une option shot_change permet de marquer une paire soumise comme une coupure lorsque vous savez où se trouve la coupure.
Pour N images d'entrée et un multiplicateur M, le nœud renvoie (N - 1) M + 1 images. Encoder la sortie à la fréquence d'images d'origine multipliée par M préserve la durée du clip. En mode pas de temps, il insère exactement une image par paire, ce qui donne 2N - 1 images.
Interpolation entre images adjacentes. Source : ComfyUI Nvidia VFX Nodes.
Installation et exécution
La voie la plus simple est le Gestionnaire ComfyUI : recherchez ComfyUI Nvidia VFX Nodes et installez. L'installation manuelle consiste à cloner le référentiel dans custom_nodes, à installer requirements.txt avec le même interpréteur Python que celui qui lance ComfyUI, puis à redémarrer.
- Un GPU NVIDIA RTX est requis, avec PyTorch compatible CUDA en cu130 ou plus récent. Les nœuds utilisent le périphérique CUDA que ComfyUI a sélectionné, et l'exécution sur CPU ou sans NVIDIA n'est pas prise en charge.
- RTX Video Frame Generation ne fonctionne que sur les séries RTX 40 et ultérieures.
- Le pack dépend des bindings
nvidia-vfx, installés parrequirements.txt. Les échecs du SDK remontent sous la formenvvfx.NvVFXError. - Une seule passe GPU est utilisée par nœud, un lot à court de mémoire se corrige donc au mieux en réduisant la résolution, l'échelle, le mode de qualité ou le nombre d'images du lot.
Flux de travail
Le modèle officiel livré avec ComfyUI le 13 octobre enchaîne les trois nœuds dans un seul graphique RTX Video Enhance, et le référentiel conserve des exemples importables pour chaque nœud pris séparément.
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.