Qwen-Image 2.1 Restore LoRA : agrandir sans deriver

ComfyUI Wikinews

Un LoRA communautaire pour Qwen-Image 2.1 garde la photo restauree ou agrandie sur son cadre d'origine : 0,3 px contre 2,2 px sans lui, avec workflow ComfyUI.

Qwen Image 2.1 Restore LoRA (Hugging Face) est un adaptateur communautaire pour agrandir et réparer les petites images ou les images abîmées avec Qwen-Image 2.1. Qwen-Image 2.1 seul peut déjà redessiner une photo de 300 px en 2 MP, mais il le fait brutalement : la peau devient granuleuse, des pores et des taches de rousseur apparaissent alors qu'ils n'ont jamais été dans l'image, les visages reviennent plus âgés et toute l'image se décale. Le LoRA conserve un peu de cette texture et maintient l'image là où elle était. Sur les 37 premières images réduites de l'auteur, le résultat se situait à environ 0,3 px de l'original pleine taille, contre plus de 2 px sans lui. ausboss a publié deux checkpoints le 7 octobre avec le flux de travail et les mesures qui les sous-tendent.
Une femme dans un manteau de fourrure rose sous des enseignes au néon, montrée comme la petite entrée, sans le LoRA et avec, chacune au-dessus de sa différence avec l'image pleine taille

Dans chaque comparaison : la petite entrée, le résultat sans le LoRA, le résultat avec, et la section marquée agrandie en dessous. Toutes passent par le flux de travail du dépôt avec le même prompt et la même graine, 8 étapes avec Viggle Turbo, environ 2 MP. « px off » indique à quelle distance le résultat se situe de l'image pleine taille dont l'entrée a été réduite. Aucune de ces images ne fait partie du jeu d'entraînement.

Ce que Qwen-Image 2.1 seul fait à une petite image

Qwen-Image 2.1 est déjà un bon outil de restauration de photos à lui seul, et son mode d'échec est l'inverse du flou. Lorsqu'on lui demande d'agrandir une photo compressée ou de faible résolution, il invente des détails : pores, taches de rousseur, barbe naissante et grain que l'original n'a jamais eus, et il redessine les visages avec quelques années de plus que la personne sur la photo. Il déplace aussi les éléments. Sur le jeu de test de l'auteur, le pire coin d'un résultat de Qwen-Image 2.1 seul se trouvait à 2,35 px de l'original en pleine résolution, ce qui est peu à l'écran mais suffisant pour que le résultat ne puisse pas être superposé à la source.

Le LoRA a été entraîné à échanger une partie de cette texture inventée contre une meilleure fidélité à la photo. Il s'agit d'un redessin, pas d'une restauration : les détails fins restent inventés, simplement en moindre quantité, et la Carte le dit clairement.

  • Aucun mot déclencheur. Agrandissez d'abord la photo à environ 2 MP (les deux côtés divisibles par 32), fournissez-la comme image 1, puis demandez.
  • Force 1.0 pour une petite photo ou une photo compressée qui est nette.
  • Force 0.75 pour un peu plus de la texture propre à Qwen.
  • Force 0.5 pour une photo floue, une prise de vue tremblée ou une image de vidéo.
Restore the photo: remove blur, noise and compression artifacts and recover sharp, natural detail, keeping the same composition, people and colors.

Pour un tirage rayé ou délavé, la Carte utilise une seconde requête, qui restaure aussi les couleurs :

Restore the old photo: remove scratches, dust, fading and grain and recover sharp, natural detail and color, keeping the same composition and people.

Mesure sur un jeu d'images tenu à l'écart

Huit des propres images de l'auteur, réduites à 512 ou 560 px sur le grand côté et enregistrées en JPEG qualité 70, puis agrandies à environ 2 MP et restaurées avec la même graine, LoRA à 1.0, CFG 1, euler / simple. Chaque chiffre est mesuré par rapport à l'original en pleine taille, que le modèle ne voit jamais. Les colonnes à 8 étapes utilisent Viggle Turbo ; les colonnes à 25 étapes non :

huit images tenues à l'écartsans LoRA, 8 étapesavec, 8 étapessans LoRA, 25 étapesavec, 25 étapes
distance à l'original, médiane du pire coin2,35 px0,26 px1,59 px0,15 px
idem, pire des huit3,83 px0,38 px3,25 px0,26 px
proximité avec l'original (SSIM, 1 = identique)0,5780,7660,7430,812
PSNR23,2 dB28,0 dB26,3 dB29,3 dB
dérive de couleur et de luminosité2,05 %0,97 %1,72 %1,04 %
même visage (reconnaissance faciale, 1 = identique)0,8210,9050,8370,901
détails fins, par rapport à l'original121 %78 %58 %36 %

La ligne des détails fins résume le compromis en un seul chiffre. Au-dessus de 100 %, cela signifie des détails inventés : à 8 étapes, Qwen-Image 2.1 seul dessine plus de grain que l'original n'en contient, et à 25 étapes il en dessine environ la moitié de l'original. Avec le LoRA, les deux valeurs sont inférieures à l'original : les résultats paraissent donc un peu lisses. L'auteur a aussi fait passer 29 autres images par le même test à 8 étapes : 0,28 px d'écart avec le LoRA contre 2,16 px sans, même visage 0,88 contre 0,79, SSIM 0,777 contre 0,611.

Un selfie en hoodie : sans le LoRA, Qwen ajoute des rides et des pores et elle paraît plus âgée ; avec, elle ressemble à la photo

Un JPEG de 389 px agrandi à 2 MP. Aucune de ces images ne fait partie du jeu d'entraînement.

Tous les types de dégradation

La publication rapporte également 57 paires mises de côté, dégradées de la même manière que les paires d'entraînement, en une passe à 8 étapes avec la requête normale. Le SSIM est mesuré par rapport à l'image propre, et « px d'écart » correspond à la médiane :

type de dégradationimagesSSIM, entrée dégradéeSSIM, sans LoRASSIM, avecpx d'écart, sans LoRApx d'écart, avec
petite image web150.7720.5240.7162.530.31
lissage téléphone50.8360.5650.8572.650.17
image extraite de vidéo50.7710.5780.7452.770.50
enregistrée et réenregistrée50.8160.5600.7942.210.24
flou et bruit50.4960.5210.6782.480.24
JPEG de faible résolution50.7770.5310.7633.160.23
mélange lourd50.7350.6460.7461.280.25
tirage ancien40.5510.4370.7492.460.19
banding40.9150.4630.8432.340.17
PNG de faible résolution40.8730.6360.8473.390.15
tous570.7560.5440.7622.700.23

Avec le LoRA, le résultat était plus proche de l'image propre sur les 57, et il a moins bougé sur les 57. Sur plusieurs types, l'image dégradée elle-même obtient un meilleur score que n'importe quelle restauration, car une image douce est proche en moyenne.

Les tirages anciens ont leurs propres chiffres sur quatre exemples mis de côté : la couleur et la luminosité s'écartaient de 15 % de l'image propre avant la restauration, de 7 % après celle-ci avec la requête normale, et de 4 % avec la requête pour photos anciennes. Les rayures, la poussière et le grain disparaissaient avec l'une ou l'autre requête. Un type de décoloration que le modèle n'a pas vu peut subsister : dans un second test avec une décoloration différente, les rayures ont disparu et la couleur décolorée est restée.

L'intensité est un curseur

La même image sans le LoRA et avec, à 0,25, 0,5, 0,75 et 1,0 : la peau devient plus douce et l'image se rapproche de l'entrée à chaque étape

Sur l'ensemble des 29 images, toute l'échelle va du Qwen brut à 0 au résultat le plus fidèle à 1,0 :

intensitédésactivé / 0,5 / 0,75 / 1,0
distance par rapport à l'original2,16 px / 1,31 px / 0,37 px / 0,28 px
même visage0,794 / 0,858 / 0,875 / 0,880
écart de couleur et de luminosité1,88 % / 1,26 % / 1,05 % / 0,94 %
détail fin, par rapport à celui de l'original102 % / 81 % / 77 % / 72 %

C'est sur les photos floues que ce curseur compte le plus. L'auteur a traité 26 vraies photos à basse résolution (d'anciens selfies et des photos prises au téléphone) à 1,0, 0,75 et 0,5. Sur les six plus floues, 1,0 est revenu doux, 0,75 n'a presque rien apporté et 0,5 est revenu net ; sur les vingt autres, les trois réglages ont fonctionné et 1,0 était le plus lisse. L'agrandissement par tuiles d'une photo douce jusqu'à 8 MP est lui aussi revenu net à 1,0 sur les trois images testées de cette façon.

Le LoRA a été entraîné sur des photos et tient aussi sur les dessins. Sur six dessins de test (anime, une affiche avec du lettrage, de l'aquarelle, un dessin animé 3D, un manga, une peinture à l'huile), il a conservé le style et le lettrage : SSIM 0,714 contre 0,491 sans lui, et 0,27 px d'écart contre 2,65 px.

Face aux autres outils

La carte compare cette version avec les autres outils qu'elle a pu trouver pour la même tâche, sur les mêmes 29 images, avec les mêmes mesures, le tout exécuté à 1.0. Ils ne sont pas tous conçus pour la même chose : certains sont faits pour ajouter du détail, alors que ce LoRA est fait pour rester fidèle à l'image. Le tableau répond donc à une seule question : à quel point le résultat reste proche de l'original.

29 petites imagesécart par rapport à l'originalmême visagedécalage de couleur et de luminositéSSIM
Qwen Image 2.1 seul2,16 px0,791,88 %0,611
SeedVR2 (3B), les nœuds de ComfyUI0,42 px0,820,44 %0,771
Deblur anything0,39 px0,851,42 %0,702
Detail Enhancer, dans le même graphique2,07 px0,762,94 %0,673
Detail Enhancer, son propre flux de travail, 25 étapes12,45 px0,714,16 %0,590
ce LoRA0,28 px0,880,94 %0,777
Une femme dans un manteau de fourrure rose issu d'un JPEG de 314 px de large : le flux de travail de Detail Enhancer lisse et redessine son visage et déplace le cadrage, Deblur anything couvre sa peau de pores et de taches de rousseur, le LoRA Restore la préserve

En SSIM, le LoRA est resté plus proche de l'original que le Detail Enhancer sur les 29 images (28 sur 29 quand le Detail Enhancer utilise son propre flux de travail), que Deblur anything, et que SeedVR2 sur 18 des 29. Il a mieux préservé le visage que le Detail Enhancer sur 28 sur 28, que Deblur anything sur 26 sur 28 et que SeedVR2 sur 27 sur 28. SeedVR2 est de loin le plus rapide, environ 3 secondes contre 11, et c'est lui qui tient le mieux les couleurs.

Un portrait serré dans un haut en dentelle : sans le LoRA les taches de rousseur se multiplient et toute l'image s'assombrit, avec lui le visage et la lumière restent Une femme appuyée à la fenêtre d'une voiture : sans le LoRA sa peau ressort rugueuse et couverte de taches de rousseur, avec lui elle garde les quelques taches de rousseur qu'elle a Un homme dans le métro avec des écouteurs : sans le LoRA il obtient une peau rugueuse et un chaume qui ne sont pas dans l'image, avec lui il reste le même homme

Quel fichier utiliser

fichierremarques
qwen-image-2.1-restore.safetensorsétape 1 500, commencez ici. Le plus proche des deux sur les images de test de l'auteur. La peau ressort un peu lisse.
qwen-image-2.1-restore-1250.safetensorsétape 1 250. Restitue davantage de détails fins et conserve plus de texture de peau sur les photos de téléphone bruitées. Un peu moins proche.

Les deux sont de rang 32 et utilisent le nommage des clés ComfyUI, ils se chargent donc sur les poids Comfy-Org Qwen-Image 2.1 sans conversion.

Exécuter dans ComfyUI

L'adaptateur est un LoRA de type modèle uniquement, donc aucun nœud personnalisé n'est nécessaire pour la restauration elle-même. Placez le fichier .safetensors dans ComfyUI/models/loras/ et ajoutez un nœud LoraLoaderModelOnly après le chargeur de modèle, avec une force de 1.0, puis donnez à Qwen-Image 2.1 la petite image comme image 1 et la requête ci-dessus comme prompt. La configuration indiquée sur la carte est de 8 étapes avec Viggle Turbo à CFG 1, ou de 25 étapes sans lui.

Un flux de travail prêt à l'emploi est fourni dans le dossier workflows/ du dépôt, construit avec les nœuds ComfyUI-AusBoss de l'auteur, le même pack que celui utilisé par ses versions antérieures.

Limites

  • C'est un redessin, pas une récupération. Les détails fins sont inventés pour s'ajuster, et le Qwen-Image 2.1 seul en dessine davantage.
  • Rester fidèle à l'image est tout l'enjeu : un résultat qui nécessite du nouveau contenu ne l'obtiendra pas.
  • Une entrée floue à pleine puissance revient tout en douceur. Descendez à 0.5, ou agrandissez en mosaïque.
  • Les chiffres proviennent des propres images de test de l'auteur et de 25 étapes sans Turbo sur une partie de l'ensemble de comparaison.
  • Pour des résultats supérieurs à 2 MP, l'auteur l'associe à son propre flux de travail d'upscale en mosaïque sur Civitai.

Disponibilité

Télécharger qwen-image-2.1-restore.safetensors (étape 1 500)

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
Qwen-Image 2.1 Restore LoRA : agrandir sans deriver | ComfyUI Wiki