Fizgig LoRA Isolation evita que un rostro se propague

Fizgig v8.4.0 añade LoRA Isolation, un modo de entrenamiento para LoRA de personajes que evita que el rostro del sujeto se propague al resto de personas de la imagen (notas de la versión | documento técnico | vídeo de demostración). Un LoRA normal de una persona arrastra ese rostro a los desconocidos del fondo, a un amigo que está al lado o a toda una multitud. Con LoRA Isolation, los sujetos entrenados pueden aparecer juntos en una misma imagen, o junto a alguien que el modelo ya conoce, y cada rostro sigue siendo el suyo. Sin la palabra de activación obtienes a las personas propias del modelo base, como antes del entrenamiento.

LoRA Isolation de Fizgig, vídeo de demostración del autor de Fizgig. Fuente: notas de la versión v8.4.0 de Fizgig

Resultados

Se entrenaron dos LoRA en Krea 2 con las mismas fotos, configuraciones, semilla y época, diferenciándose solo en LoRA Isolation. Ambos aprendieron dos personas, el sujeto más un amigo como segundo personaje, y un estilo de recorte de papel. Después, cada LoRA se renderizó con 25 prompts y dos semillas, 50 imágenes en total. Cada imagen es un marco dividido: un lado contiene un hombre blanco diferente y descrito con cuidado; el otro, el sujeto entrenado, también un hombre blanco. Esa combinación es deliberadamente el caso más difícil para la filtración. Cada mitad se puntuó con ArcFace (insightface buffalo_l) contra el rostro medio del sujeto a partir de 35 fotos de entrenamiento, donde la misma persona suele obtener 0.45 o más y las personas no relacionadas obtienen de 0.0 a 0.2.

El parecido no disminuye: las fotos reales del propio sujeto puntúan 0.81 entre sí, y estos renders alcanzan 0.78 mientras el LoRA se comparte con una segunda persona. Una segunda persona en un LoRA suele ser el problema; aquí es parte de la solución.

Cómo funciona

Fizgig aplica seis componentes cuando se selecciona Fizgig LoRA Isolation en la tarjeta Subjects.

DOP: Preservación diferencial de la salida

Cada imagen de entrenamiento también se entrena con su activador eliminado de la descripción, y en esa pasada se obliga al LoRA a ajustarse a la predicción del propio modelo base para la misma entrada con ruido. Sin el activador, el LoRA aprende a no cambiar nada, así que el sujeto queda fuera de los prompts que no lo nombran. Fizgig atribuye DOP a Ostris y AI-Toolkit, y construye sus propias capas sobre esa base.

Anclaje de identidad con múltiples sujetos

Dos o más identidades se entrenan juntas, cada una desde su propia carpeta con su propio activador. Dos rostros aprendidos en paralelo enseñan al LoRA que un rostro pertenece a un activador concreto y no a la clase en general, por eso una segunda persona ayuda en lugar de estorbar. La prueba anterior usó a una mujer como segundo sujeto mientras todos los desconocidos eran hombres, así que el efecto no depende del género. Incluso para un LoRA de una sola persona, se recomienda entrenar a una segunda persona en paralelo.

Desacoplamiento de clase con tokens fusionados

El activador y su palabra de clase se fusionan en una sola palabra en cada descripción, de modo que gwelt, a man se entrena como gweltman. El token de clase sin modificar ("man") es lo que comparten todos los demás hombres del modelo, y es el puente por el que los rasgos de un sujeto pasan a otras personas. Al unirse al activador, la palabra de clase se convierte en un token distinto, y el aspecto del sujeto nunca se adhiere al compartido. Fizgig aplica la unión mientras se leen las descripciones y deja intactos los archivos de descripción en disco. El activador debe unirse de forma limpia: fyxo más woman se lee como f | yx | ow | oman, lo que rompe la palabra fusionada, por eso la tarjeta Subjects incluye un botón Check a trigger word que prueba la unión con el propio tokenizer del modelo de entrenamiento.

Composición de pares negativos en un solo marco

Cada persona recibe 16 imágenes lado a lado: una de sus propias fotos de entrenamiento junto a un desconocido generado en un único marco 2:1, con el lado del sujeto elegido al azar. Estas enseñan «esta persona es el sujeto, esa persona sigue siendo un desconocido» dentro de una misma imagen, que es exactamente donde un LoRA normal filtra. Las descripciones presentan primero al desconocido y después al sujeto, porque los codificadores de texto que usan estos modelos son causales y cada palabra posterior al activador se codifica con el activador ya visto.

Los desconocidos son un conjunto fijo de 32 personas generadas de 8 etnias, hombres y mujeres de entre 20 y 50 años. La segunda versión del conjunto se renderiza en Qwen Image 2.1 para obtener una textura de piel natural, de modo que no empuja un LoRA hacia una piel deficiente, y no se usa la foto de ninguna persona real. El conjunto se descarga con los modelos de Fizgig y ocupa unos 21 MB.

Escalado de la tasa de aprendizaje y muestreo equilibrado

Las imágenes lado a lado se entrenan con el doble de tasa de aprendizaje en sus propios pasos, DOP se ejecuta cada dos pasos con el doble de peso, y Balance the subjects repite las carpetas más pequeñas para que cada sujeto se entrene aproximadamente con la misma frecuencia que el mayor.

Rutas de entrenamiento según la clase

Cada sujeto se interpreta como una persona, un animal o cosa, o un estilo o apariencia. Una persona recibe el activador fusionado y las imágenes lado a lado. Un animal o cosa recibe solo el activador fusionado. Un estilo o apariencia conserva su activador tal como se escribió y no recibe imágenes lado a lado, ya que un estilo debe cambiar toda la imagen.

La receta detrás de las cifras

El entrenamiento tarda aproximadamente 1.5× más que un LoRA normal con las mismas configuraciones.

Lo que se sabe hasta ahora

• Hasta 4 sujetos se entrenan bien. Dos personas entrenadas en una misma imagen más una persona que el modelo ya conoce funciona casi siempre; tres o más personas entrenadas en una misma imagen es irregular.
• Dos sujetos de la misma clase, como dos mujeres, necesitan aproximadamente 1.6× las épocas, porque ambos alimentan la misma pasada de preservación de «a woman» y esa clase se mantiene aproximadamente el doble de firme.
• Usa el token fusionado en el prompt, por ejemplo gweltman man at a cafe, y describe a las demás personas de la imagen. El LoRA las mantiene separadas por sí solo; la descripción es una red de seguridad.
• El método solo se ha probado en Krea 2 hasta ahora. Funciona en todos los modelos de Fizgig excepto ACE-Step, y en MiniMax H3 los sujetos se entrenan a partir de sus fotos, dejando los clips y archivos de voz fuera de la carpeta.

Cómo usarlo

El modo está en la tarjeta Subjects de la pestaña Training: elige cuántos sujetos hay, apunta cada uno a una carpeta, indica qué es y luego establece Your subject and other people en Fizgig LoRA Isolation. Debajo de cada sujeto, la tarjeta muestra la palabra con la que se entrena, una de sus descripciones y las imágenes lado a lado que usará el entrenamiento, de modo que los problemas de descripción aparezcan antes de la ejecución y no después.

Configuración de la tarjeta Subjects: vídeo tutorial del autor de Fizgig. Fuente: notas de la versión v8.4.0 de Fizgig

Guía de descripción: MULTI_PERSON.md. La misma versión hace que el entrenamiento multiconcepto, de 2 a 4 carpetas de sujetos, esté disponible en el LoRA Estándar y el fine-tune de todos los modelos, en lugar de solo en H3.

Disponibilidad

Fizgig es un estudio de código abierto de LoRA y fine-tune para Klein 9B, Krea 2, MiniMax H3, Qwen Image 2.1, Anima, Z-Image Turbo y ACE-Step XL (GitHub), y la v8.4.0 es la versión actual. LoRA Isolation es una función del lado del entrenamiento, así que los LoRA resultantes se cargan en ComfyUI como cualquier otro LoRA entrenado en Fizgig.