Skip to content
Devenir Parrain Aidez à Construire une Meilleure Base de Connaissances ComfyUI
Série de TutorielsTutoriel Avancé ComfyUIFlux de travail ComfyUI Sonic pour la génération de vidéos avec des humains numériques

Flux de travail ComfyUI Sonic pour la génération de vidéos avec des humains numériques

Sonic est un modèle humain numérique open source développé par Tencent qui peut générer des vidéos impressionnantes à partir d’images et d’audio.

Voici les liens originaux liés à Sonic : Page du projet : https://jixiaozhong.github.io/Sonic/ Démo en ligne : http://demo.sonic.jixiaozhong.online/ Code source : https://github.com/jixiaozhong/Sonic

Récemment, des membres de la communauté ont terminé l’intégration du plugin. Ce tutoriel est basé sur le plugin ComfyUI_Sonic pour reproduire les effets d’exemple officiels de Sonic.

💡

Actuellement, j’éprouve encore quelques problèmes lors de l’exécution de ce flux de travail. Je mettrai à jour ce tutoriel avec les instructions correspondantes une fois les tests terminés.

1. Installation du plugin ComfyUI Sonic

Ce flux de travail dépend des plugins suivants. Veuillez vous assurer d’avoir terminé l’installation des plugins et des dépendances avant de commencer ou d’utiliser ComfyUI-manager pour installer les nœuds manquants après avoir téléchargé le flux de travail.

ComfyUI_Sonic : https://github.com/smthemex/ComfyUI_Sonic ComfyUI-VideoHelperSuite : https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

Si vous n’êtes pas familier avec l’installation, veuillez consulter le tutoriel d’installation des plugins ComfyUI pour terminer l’installation des plugins correspondants.

2. Téléchargement et installation des modèles Sonic

Dans le dépôt du plugin, l’auteur a fourni des liens pour télécharger les plugins correspondants. Si les liens vers les modèles ci-dessous sont inactifs ou inaccessibles, veuillez consulter le dépôt de l’auteur pour voir s’il y a des mises à jour.

Les modèles doivent être enregistrés à l’emplacement suivant. Veuillez sauvegarder les modèles téléchargés à l’endroit approprié :

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁video                      // Le dossier video est principalement utilisé pour la classification des modèles, vous pouvez également ne pas créer ce dossier
│   │       └── svd_xt_1_1.safetensors   // fichier modèle svd_xt.safetensors ou svd_xt_1_1.safetensors
│   └── 📁sonic                          // Créez un dossier sonic, tous les contenus doivent être sauvegardés dans ce dossier, cette partie des contenus provient de Google Drive
│       ├── 📁 whisper-tiny                            
│       │   ├── config.json 
│       │   ├── model.safetensors
│       │   └── preprocessor_config.json
│       ├── 📁 RIFE  
│       │   └── flownet.pkl
│       ├── audio2bucket.pth
│       ├── audio2token.pth
│       ├── unet.pth
│       └── yoloface_v5m.pt

2.1 Diffusion vidéo stable, choisissez l’un des deux modèles suivants :

svd_xt_1_1.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/tree/main svd_xt_1_1.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/tree/main

2.2 Téléchargez les modèles liés à Sonic

Accédez à l’adresse du disque ci-dessous et téléchargez toutes les ressources dans le dossier Modèles liés à Sonic : https://drive.google.com/drive/folders/1oe8VTPUy0-MHHW2a_NJ1F8xL-0VN5G7W

2.3 Téléchargez le modèle whisper-tiny

whisper-tiny https://huggingface.co/openai/whisper-tiny/tree/main

Téléchargez uniquement les trois fichiers suivants

  • config.json
  • model.safetensors
  • preprocessor_config.json

Matériaux liés au flux de travail ComfyUI Sonic

Veuillez télécharger les fichiers audio, photos et le fichier de flux de travail ci-dessous, ou utilisez vos propres matériaux Image : Sonic input anime

Audio, veuillez télécharger n’importe quel audio de la section d’exemple : https://github.com/smthemex/ComfyUI_Sonic/tree/main/examples/wav

Explication du flux de travail ComfyUI Sonic

Sonic Workflow

  1. À l’emplacement 1, chargez le modèle lié à la diffusion vidéo stable comme svd_xt_1_1.safetensors
  2. À l’emplacement 2, téléchargez le fichier audio, chargez le fichier audio
  3. À l’emplacement 3, téléchargez l’image d’exemple
  4. À l’emplacement 4, chargez le fichier modèle unet.pth
  5. Utilisez Queue ou le raccourci Ctrl(Command)+Enter pour exécuter le flux de travail et générer l’image

Résolution des problèmes

  1. Problème de version de transformers Étant donné que ce plugin nécessite l’utilisation de transformers==4.43.2, si votre flux de travail ne fonctionne pas correctement, veuillez modifier
📁ComfyUI
├── 📁custom_nodes
│   └── 📁ComfyUI_Sonic           // Dossier du plugin
│       └── requirements.txt      // Fichier de dépendances

Veuillez modifier le fichier requirements.txt dans

#transformers ==4.43.2

Retirez le caractère #

transformers ==4.43.2

Puis redémarrez ComfyUI ou utilisez pip pour installer les dépendances correspondantes.

  1. Problème de type de frame_rate J’ai rencontré un problème de type numérique incompatible au dernier nœud, j’ai essayé d’utiliser un nœud primitive comme entrée. Type incompatible

De plus, comme ce flux de travail est encore en phase de test, si vous avez de meilleures solutions, n’hésitez pas à laisser un commentaire, je mettrai à jour ce tutoriel en temps voulu.