Nouveautés de l'écosystème ComfyUI : sorties de modèles open source, nœuds personnalisés, workflows et outils de génération d'images, de vidéos et d'audio.
MultimodalLe laboratoire Tongyi du groupe Alibaba présente VACE, le premier cadre unifié au monde pour diverses tâches vidéo, couvrant la génération de texte en vidéo, l'édition vidéo et les combinaisons de tâches complexes
Open-Weights
MultimodalLe projet StarVector met en œuvre la génération automatique de code graphique vectoriel SVG à partir d'images et de textes, offrant de nouveaux outils créatifs pour les designers et les développeurs.
Open-Weights
Texte vers imageByteDance présente InfiniteYou (InfU), un cadre innovant basé sur les Transformateurs de Diffusion qui permet une recréation flexible de photos tout en préservant l'identité de l'utilisateur, répondant aux limitations des méthodes existantes concernant la similarité d'identité, l'alignement texte-image et la qualité de génération
MIT
Stability AI présente un nouveau modèle d'IA, Stable Virtual Camera, capable de convertir des photos ordinaires en vidéos 3D avec des effets de profondeur et de perspective authentiques, offrant aux créateurs un contrôle intuitif de la caméra
Open-Weights
Image vers 3DL'Université Tsinghua et le laboratoire d'IA de Tencent présentent StdGEN, un pipeline innovant qui génère des personnages 3D de haute qualité et sémantiquement décomposés à partir d'images uniques, permettant la séparation du corps, des vêtements et des cheveux
Open-Weights
Image vers 3DTencent lance le système Hunyuan3D 2.0 avec un processus en deux étapes pour générer des modèles 3D de haute qualité, présentant plusieurs séries de modèles open-source qui soutiennent la création d'actifs 3D haute résolution à partir de texte et d'images
Open-Weights
Kuaishou Technology a lancé ReCamMaster, une technologie vidéo générative permettant aux utilisateurs de créer de nouveaux angles de caméra et trajectoires de mouvement à partir d'une seule vidéo.
Open-Weights
Texte vers vidéohpcaitech a lancé le modèle de génération vidéo open source Open-Sora 2.0, atteignant des performances proches des modèles commerciaux de premier plan avec un coût d'entraînement de seulement 200 000 dollars.
Open-Weights
Le Laboratoire Tongyi d'Alibaba lance le modèle VACE, qui intègre plusieurs fonctions de création et d'édition vidéo dans un seul cadre, réduisant ainsi la barrière d'entrée pour la création de vidéos.
Open-Weights
Microsoft Research présente une solution intelligente de génération stratifiée basée sur des invites textuelles globales, permettant la création d'images transparentes avec plus de 50 calques indépendants
Open-Weights
Image vers vidéoL'équipe Hunyuan de Tencent lance un modèle open source permettant de générer des vidéos de 5 secondes à partir d'une seule image, avec génération intelligente de mouvements et personnalisation d'effets
Open-Weights
MultimodalLe système d'analyse de documents d'Alibaba comprend simultanément texte et images, améliorant l'efficacité de traitement des documents complexes de plus de 10%
Open-Weights
Texte vers imageL'équipe THUDM publie CogView4, un modèle open source de génération d'images prenant en charge les entrées bilingues et la génération de caractères chinois, avec des performances de pointe
Open-Weights
MultimodalSesame dévoile son modèle de conversation vocale CSM basé sur une architecture double Transformer, offrant une interaction en temps réel et un cœur open source
Open-Weights
Alibaba a officiellement ouvert son modèle de génération de vidéos le plus récent, Wan2.1, qui peut fonctionner avec seulement 8 Go de mémoire vidéo, supportant la génération de vidéos haute définition, des sous-titres dynamiques et du doublage multilingue, surpassant des modèles comme Sora avec un score total de 86,22% sur le classement VBench
Open-Weights
Le groupe de commerce numérique international d'Alibaba (AIDC-AI) lance le plugin ComfyUI Copilot, qui simplifie l'expérience de l'utilisateur de ComfyUI grâce à l'interaction naturelle et aux fonctionnalités pilotées par l'IA, prend en charge l'interaction en chinois et offre des recommandations intelligentes de nœuds, entre autres fonctionnalités
Open-Weights
Alibaba a annoncé que son dernier modèle de génération vidéo, Wanx 2.1, deviendra open source au deuxième trimestre 2025. Ce modèle prend en charge la génération de vidéos HD, les sous-titres dynamiques, les voix multilingues, et a obtenu un score total de 84,7% dans le classement VBench.
Open-Weights
MultimodalGoogle introduit le nouveau modèle PaliGemma 2 mix, supportant diverses tâches visuelles, notamment la description d'images, la reconnaissance optique de caractères (OCR), la détection d'objets, et offrant trois versions d'échelle : 3B, 10B et 28B
Open-Weights
Skywork a publié le modèle de génération vidéo open source SkyReels-V1, qui prend en charge les vidéos textuelles et les vidéos graphiques, avec des effets d'éclairage de niveau cinématographique et une expression de mouvement naturelle, et est maintenant disponible commercialement
Open-Weights
Des chercheurs ont proposé une nouvelle méthode de rééclairage vidéo, Light-A-Video, qui réalise un effet de rééclairage vidéo temporellement fluide grâce à l'attention lumineuse cohérente (CLA) et à la fusion lumineuse progressive (PLF).
Open-Weights