AI Movie Studio 2 : Station de cinéma open source pour ComfyUI

Le projet vient de Nathan McConnell, un spécialiste de la production virtuelle et un vétéran du département caméra basé à Atlanta qui gère des décors LED volumétriques au SCAD. La première version s'est effondrée sous sa propre liste de fonctionnalités, donc la version 2 a été reconstruite à partir de zéro autour d'un seul objectif : une interface épurée qui suit le flux de travail cinématographique réel plutôt qu'un tableau de bord fourre-tout.

Comment cela fonctionne avec ComfyUI

AI Movie Studio 2 ne génère rien par lui-même. C'est un poste de pilotage du réalisateur au-dessus de votre configuration existante : un frontend Next.js 14 communique avec un backend FastAPI, et le « Système Pilote » du backend s'adapte au moteur que vous lui indiquez. Localement, cela signifie votre instance ComfyUI en cours d'exécution à 127.0.0.1:8188 ; dans le cloud, cela signifie Fal.ai ou Replicate avec une Clé API. L'interface utilisateur ne change jamais.

Les modèles vidéo locaux pris en charge dans ComfyUI sont LTX Video 2.3, Wan Video (via WanVideoWrapper de Kijai) et MiniMax H3 (via les nœuds MiniMax de Kijai), couvrant les flux de travail texte-vers-vidéo, image-vers-vidéo et première-dernière-image. Du côté des images, il pilote Z-Image, Qwen Image, Flux 2 et Krea 2, avec un support multi-référence pour une cohérence des personnages et lieux entre les plans.

Les fonctionnalités du flux de travail

• Storyboard 3D : placer une caméra virtuelle dans l'espace 3D, encadrer visuellement les plans avec des indicateurs de Champ de vision et de boussole, et obtenir des avertissements lorsque vous violez la règle des 180 degrés.
• Système de continuité : les images de référence maintiennent la cohérence des personnages et lieux entre les images.
• Mode Long Take (expérimental) : enchaîner l'interpolation d'images clés sur plusieurs segments pour des plans continus plus longs qu'un seul clip, assemblés avec ffmpeg. Cela nécessite des modèles prenant en charge la vidéo à partir de la première et dernière image, tels que LTX Video 2.3 et Wan Video.
• Support LoRA partout : téléverser et appliquer des LoRAs avec des curseurs de force par modèle dans les cinq interfaces de génération.
• Enregistrement de flux de travail personnalisé : créer un flux de travail dans ComfyUI, exporter le JSON, le téléverser dans le panneau des Paramètres, et il apparaît comme un nouveau modèle dans chaque menu déroulant. L'Application analyse le JSON, liste tous les checkpoints, LoRAs et VAE requis, et indique lesquels sont déjà présents dans votre dossier de modèles ComfyUI.
• Exportation de chronologie : assembler les plans avec dialogues et audio, puis exporter XML pour Premiere ou DaVinci.

Engagement de la Communauté

La publication de mise à jour du 7 septembre sur r/comfyui a attiré des utilisateurs indépendants signalant une utilisation réelle : l'un l'utilise sur un mini PC Strix Halo sous Linux, l'autre a eu une PR fusionnée dans le projet. La méthode Docker (docker compose up --build) a supprimé le plus grand obstacle d'installation des versions antérieures.

Le matériel minimum est un GPU de 8 Go pour la génération d'images et les courts clips ; 12-16 Go couvre tous les modèles d'images locaux plus la vidéo Wan et MiniMax H3. Un GPU n'est pas obligatoire car les pilotes cloud fonctionnent sans celui-ci.

Disponibilité

AI Movie Studio 2 est licencié sous AGPL-3.0 et s'exécute sur Python 3.10+ avec Node.js 18+. Les guides d'installation, la commande Docker unique et les tableaux complets de compatibilité des modèles se trouvent dans le README GitHub. Le projet est sous développement actif et l'Auteur note de s'attendre à des modifications incompatibles entre les mises à jour.