FLUX 3 : Modèle de flux multimodal pour la prédiction vidéo, image, audio et action

Qu'est-ce que FLUX 3 ?

FLUX 3 est le modèle multimodal de nouvelle génération de Black Forest Labs, qui apprend conjointement à partir d'images, de vidéos et d'audio au sein d'une architecture unifiée unique. Contrairement aux modèles FLUX précédents qui se concentraient uniquement sur la génération d'images, FLUX 3 construit une représentation partagée du monde physique : comment les objets tiennent ensemble, comment les choses bougent et comment les événements sonnent.

Aucune modalité unique ne fournit une description complète de la réalité. Les images capturent les structures spatiales à un instant donné, les vidéos restituent la dynamique temporelle, l'audio révèle les relations acoustiques causales et le langage relie la perception aux instructions. FLUX 3 apprend de toutes simultanément, en utilisant des contraintes mutuelles entre les modalités pour produire des sorties plus cohérentes et physiquement fondées.

Construit sur l'approche Self-Flow pour aligner efficacement la génération et la compréhension multimodales, FLUX 3 augmente considérablement les ressources de calcul et de données pour s'entraîner simultanément sur la vidéo, les images et l'audio.

Que peut faire FLUX 3 ?

Vidéo + Audio (FLUX 3 Video : Accès anticipé dès maintenant)

FLUX 3 Video génère des clips vidéo très diversifiés avec audio natif jusqu'à 20 secondes de long en résolution 720p en une seule génération :

• Génération text-to-video avec audio synchronisé
• Image-to-video (animation à partir d'une image de départ ou de références visuelles)
• Video-to-video transportant des éléments centraux (par exemple, le même personnage) vers de nouvelles scènes
• Continuation vidéo-audio générative à partir d'une vidéo et d'un audio d'entrée
• Keyframe-to-video pour des transitions contrôlées entre des moments définis
• Génération de dialogues multilingues
• Chaînage agentique de clips individuels en séquences multi-plans plus longues
• Large gamme de styles visuels et de rapports d'aspect au-delà de la production cinématographique conventionnelle
• Forte expression faciale humaine, association son-événement physiquement fondée et capacités multilingues

Image (FLUX 3 Image : Accès anticipé bientôt disponible)

FLUX 3 Image proposera la synthèse text-to-image et l'édition d'images dans une grande variété de styles, rapports d'aspect et résolutions. Les évaluations préliminaires montrent des améliorations significatives par rapport aux versions précédentes de FLUX dans le traitement de prompts complexes et la précision de la génération de texte, y compris un rendu textuel très précis dans plusieurs langues.

Prédiction d'action (FLUX 3 Action / FLUX-mimic : Accès partenaire)

La compréhension du monde de FLUX 3 s'étend à la prédiction d'action via l'intégration native (s'appuyant sur Self-Flow) et via le fine-tuning du backbone vidéo pré-entraîné en tant que fondation consciente de la dynamique. En partenariat avec mimic robotics, le modèle vidéo-action FLUX-mimic est testé sur des tâches de production réelles chez Audi pour la manipulation dextre et le déploiement en production.

Plan de lancement

Évaluations préliminaires

Dans les évaluations préliminaires des préférences humaines pour des clips text-to-video de 10 secondes en 720p avec audio :

|> Ces résultats sont préliminaires et l'équipe s'attend à d'autres améliorations pendant la phase d'accès anticipé. Source : Black Forest Labs — Article sur FLUX 3.

Liens

• Article de blog
• Page produit FLUX 3
• Demander un accès anticipé
• Recherche Self-Flow
• Article FLUX 3 x mimic
• Black Forest Labs
• Organisation HuggingFace
• Documentation API