AnyAngle: 임의의 카메라 앵글을 위한 Qwen-Image 2.1 LoRA

편집 모델에서 프롬프트만으로 앵글을 바꾸면 몇 가지 고정된 방위각과 고도각에 머무는 경우가 많고, 더 밀어붙이면 이미지가 다른 느낌으로 흘러가 버립니다. AnyAngle은 작업을 나눕니다. 지오메트리가 새로운 시점을 결정하고, 편집 모델이 그 시점에서 원본 이미지가 어떻게 보여야 하는지를 결정합니다.

모델 카드에 소개된, LoRA로 만든 카메라 앵글 변경 결과물.

파이프라인

모델 카드는 이 방법을 단일 모델이 아니라 기존 도구들의 연쇄로 설명합니다:

1. 장면 재구성. 소스 이미지가 Gaussian splat(작성자는 Tripo Splat을 사용하지만, 어떤 splat 생성기든 된다고 적었습니다) 또는 Trellis2나 Pixal3D를 통한 3D 모델이 됩니다.
2. Blender에서 카메라 이동. 재구성 결과를 가져오고 카메라를 추가한 뒤 원하는 앵글로 설정하고, 해당 뷰의 거친 이미지를 렌더링합니다.
3. Qwen-Image 2.1로 앵글 전이. 거친 렌더와 원본 이미지를 AnyAngle LoRA 및 아래 프롬프트와 함께 편집 모델에 입력합니다. 출력은 새로운 시점을 받아들이면서 원본 이미지의 스타일과 재질을 유지합니다.

Change the camera angle from <image2> to <image1>.

모델 카드에 그림으로 설명된 3단계 파이프라인: 소스 이미지, 새 앵글에서의 거친 렌더, 완료된 편집본.

모델 카드의 그래프에서 각 요소가 연결되는 방식: 원본 이미지와 거친 렌더가 모두 LoRA가 적용된 Qwen-Image 2.1 편집 파이프라인으로 들어갑니다.

설정

카드는 LoRA가 어떤 조건에서 잘 작동하는지 구체적으로 밝힙니다:

• LoRA 강도 1.0.
• 최상의 결과를 위해서는 CFG 3.0, 스텝 20 이상.
• 보드 작업과 샷 기획에서 지연 시간을 줄이기 위해 turbo LoRA를 겹쳐 쌓을 수 있으며, 품질은 약간 희생됩니다.

가중치 자체는 rank-24 어댑터로 bf16 기준 약 120 MB이며, 키가 diffusion_model.* 형식으로 배치되어 있습니다. 이는 ComfyUI 자체 LoRA 로더가 기대하는 명명 방식이므로 별도 변환 과정 없이 로드됩니다.

학습

데이터셋은 스타일 다양성을 위해 고른 실제 Blender 렌더와, 원본 이미지에 다른 카메라 앵글의 대응 프레임을 짝지은 합성 쌍을 함께 사용합니다. 앵커와 대상이 같은 장면의 렌더이기 때문에 이 쌍들은 환각이 아니라 기하학적으로 일관되며, 이것이 큰 앵글 변화에서도 스타일을 정렬된 상태로 유지해 줍니다. 일러스트와 스케치 스타일까지 아우르기 위해 작성자는 MiniMax H3 이미지 기반 비디오 생성 오빗 렌더를 사용했습니다. 이 렌더에서는 카메라가 움직이는 동안 프레임 안의 모든 것이 정지해 있으며, 이후 수천 스텝 동안 학습했습니다.

실패하는 경우

결과물의 품질은 재구성 품질을 넘지 못합니다. splat 또는 3D 모델이 공간적으로 잘못되었거나 너무 거칠면, 객체가 엉뚱한 위치에 놓이거나 저해상도 이미지에서 얼굴이 일그러질 수 있습니다. 카드의 예시들은 바로 그 이유로 테이블과 묶은 머리가 잘못된 배치로 나타난 사례를 보여주며, 제안된 해결책은 재구성의 배치를 바로잡거나 더 나은 splat에서 시작하는 것입니다. 더 새로운 3D 및 월드 생성기들이 이 단계를 계속 개선해 줄 것이라는 기대가 담겨 있습니다.

사용 가능 여부

• LoRA 가중치, 방법 및 예시: lilylilith/QI_2.1_AnyAngle
• 베이스 모델: Qwen/Qwen-Image-2.1, ComfyUI의 공식 Qwen Image 2.1 편집 워크플로를 통해 로드