AnyAngle: LoRA de Qwen-Image 2.1 para ángulos de cámara arbitrarios
AnyAngle es un LoRA de Qwen-Image 2.1 que lleva una foto a cualquier ángulo: renderiza la escena desde un splat o modelo 3D y traslada esa vista con el modelo de edición.
Los cambios de ángulo en los modelos de edición basados solo en prompts suelen acabar en un puñado de azimuts y elevaciones fijos, y forzar más hace que la imagen derive hacia un aspecto diferente. AnyAngle divide la tarea: la geometría decide el nuevo punto de vista y el modelo de edición decide cómo debería verse la imagen original desde ahí.
Un cambio de ángulo de cámara realizado con el LoRA, de la model card.
El pipeline
La model card plantea el método como una cadena de herramientas existentes en lugar de un único modelo:
- Reconstruir la escena. La imagen fuente se convierte en un Gaussian splat (el autor usa Tripo Splat, pero escribe que cualquier generador de splats sirve) o en un modelo 3D mediante Trellis2 o Pixal3D.
- Mover la cámara en Blender. Importa la reconstrucción, añade una cámara, colócala en el ángulo que quieras y renderiza una imagen aproximada de esa vista.
- Transferir el ángulo con Qwen-Image 2.1. Introduce el render aproximado y la imagen original en el modelo de edición con el LoRA AnyAngle y el prompt de abajo. La salida conserva el estilo y los materiales de la imagen original mientras adopta el nuevo punto de vista.
Change the camera angle from <image2> to <image1>.
El pipeline de tres pasos tal como se ilustra en la model card: imagen fuente, render aproximado desde el nuevo ángulo y la edición finalizada.
Cómo se conectan las piezas en el gráfico de la model card: tanto la imagen original como el render aproximado entran en el pipeline de edición de Qwen-Image 2.1 con el LoRA aplicado.
Configuraciones
La model card es específica sobre dónde le gusta ejecutarse al LoRA:
- Fuerza del LoRA 1.0.
- CFG 3.0 y 20 pasos o más para obtener los mejores resultados.
- Se puede apilar un LoRA turbo para reducir la latencia en el boarding y la planificación de planos, con un pequeño coste en calidad.
Los pesos en sí son un adaptador de rango 24, de unos 120 MB en bf16, y sus claves están organizadas como diffusion_model.*, que es la nomenclatura que espera el propio cargador de LoRA de ComfyUI, por lo que se carga sin necesidad de un paso de conversión.
Entrenamiento
El dataset mezcla renders reales de Blender, elegidos por su variedad estilística, con pares sintéticos: imagen original más un fotograma correspondiente a un ángulo de cámara diferente. Como el ancla y el objetivo son renderizados de la misma escena, los pares son geométricamente coherentes en lugar de alucinados, y eso es lo que mantiene los estilos alineados a través de cambios de ángulo grandes. Para cubrir estilos de ilustración y boceto, el autor utilizó renders orbitales de imagen a vídeo de MiniMax H3, donde todo lo que está en el encuadre permanece quieto mientras la cámara se mueve, y después entrenó durante unos miles de pasos.
Dónde falla
El resultado es tan bueno como la reconstrucción. Si el splat o el modelo 3D es espacialmente incorrecto o demasiado tosco, los objetos pueden acabar mal colocados o las caras deformadas en imágenes de baja resolución. Los ejemplos de la model card muestran una mesa y una coleta colocadas en una disposición incorrecta exactamente por ese motivo, y las soluciones sugeridas son corregir la ubicación de la reconstrucción o partir de un splat mejor, con la expectativa de que los generadores 3D y de mundos más nuevos sigan mejorando este paso.
Disponibilidad
- Pesos del LoRA, método y ejemplos: lilylilith/QI_2.1_AnyAngle
- Modelo base: Qwen/Qwen-Image-2.1, cargado mediante el flujo de trabajo oficial de edición de Qwen Image 2.1 en ComfyUI
Comentarios
Inicia sesión con GitHub para unirte a la conversación.