LoRA de transformación MiniMax H3: de una imagen a otra
Un LoRA de MiniMax H3 que transforma una imagen en otra: elementos, materiales y sujetos se convierten unos en otros en una transición fluida entre primer y último fotograma.
Un fotograma de uno de los clips de muestra, en el que a cada sujeto de la primera imagen se le asigna su propia contraparte en la segunda.
Qué hace
La ruta de primer y último fotograma de MiniMax H3 normalmente lee dos imágenes como los extremos de un plano continuo: la cámara o el sujeto se mueve y la escena sigue siendo reconociblemente la misma. Este adaptador convierte los dos fotogramas en un estado inicial y un estado final. Todo lo que queda entre ellos es la transición, y el modelo está entrenado para transportar elementos visuales individuales a través de ella en lugar de hacer un crossfade de toda la imagen.
Como la correspondencia se detalla en el prompt, un solo movimiento puede llevar varias transformaciones a la vez. En el ejemplo siguiente, la persona de la camiseta gris se convierte en la chica de la segunda imagen, la persona de la camiseta amarilla se convierte en la hierba amarilla y la persona de la camiseta verde se convierte en fondo vacío, todo dentro de un mismo clip.
El formato del prompt
El adaptador usa una palabra de activación más un conector de acción, y funciona mejor cuando el prompt indica cómo cada sujeto, material o elemento se convierte en su contraparte:
- Palabra de activación:
Tr@nsf0rmation_style - Conector de acción:
Tr@nsf0rmation into
La plantilla recomendada es:
integrated_multimodal_description: [Shot 1] Tr@nsf0rmation_style, Picture 1 Tr@nsf0rmation into Picture 2 with individual elements and subjects Tr@nsf0rmation into one another.Un ejemplo más específico, tomado de la model card:
integrated_multimodal_description: [Shot 1] Tr@nsf0rmation_style, Picture 1 Tr@nsf0rmation into Picture 2 with individual elements and subjects Tr@nsf0rmation into one another. The bald person in grey T-shirt and blue jeans from <Picture 1> Tr@nsf0rmation into the Girl in <Picture 2>. The person in the Yellow shirt from <Picture 1> Tr@nsf0rmation into the yellow grass from <Picture 2>. The person in the green shirt from <Picture 1> Tr@nsf0rmation into the blank background in <Picture 2>.Ejemplos
Reensamblaje de una escena multielemento: cada persona de la primera imagen se transforma en un elemento diferente de la segunda.
Una transformación visual directa entre dos escenas.
Evolución de trazos de lápiz, usando la variante de prompt más específica en la que los trazos individuales de lápiz se transforman unos en otros.
Hay siete clips más, que cubren transiciones fluidas, morphing semántico, intercambios complejos de sujetos y flujo de alta fidelidad, en la model card.
Configuraciones recomendadas
| configuración | valor |
|---|---|
| pesos base | MiniMax H3 FL2VA o Ref2V, como minimax_h3_fl2va_pruned_int8_convrot.safetensors de Comfy-Org/MiniMax-H3 |
| checkpoints | Transformation_style_c1-st2500 es el que está totalmente convergido, -st1600 es más suave y ligero |
| fuerza del LoRA (st2500) | 1.0 a 1.2 |
| fuerza del LoRA (st1600) | 1.0 a 1.4 |
| configuración apilada | st2500 a 1.2 más st1600 a 1.4, usada para los clips de muestra |
| muestreador / programador | res_multistep o euler con simple; ResMultistep ofrece las transiciones más estables |
| pasos | 12 con un adaptador turbo DMD, o de 25 a 30 en estándar |
| sigma shift | shift_video 8.0 y shift_audio 3.0 |
| resolución | 852 × 480 o 1024 × 576, escalable a 1080p |
Ejecutarlo en ComfyUI
Los archivos se distribuyen con la nomenclatura de ComfyUI (Transformation_style_*_comfyui.safetensors), así que no se requieren Nodos Personalizados:
- Descarga el checkpoint que quieras en
ComfyUI/models/loras/. - Añade un nodo LoraLoaderModelOnly después de tu cargador UNet de MiniMax H3 y establece
strength_modelentre 1.0 y 1.2. - Introduce la imagen inicial y la imagen objetivo en los nodos de acondicionamiento de primer y último fotograma.
- Escribe el prompt con la palabra de activación
Tr@nsf0rmation_styley el conectorTr@nsf0rmation into, como se muestra arriba.
Disponibilidad
- Pesos del LoRA: Ashmotv/transformation_lora
- Repack del modelo base: Comfy-Org/MiniMax-H3
Comentarios
Inicia sesión con GitHub para unirte a la conversación.