SnapRef v2a: ComfyUI에서 Anima 참조 사진마다 가중치를 지정하는 방법

참조 4개, 장면 프롬프트 3개. 주황색 외곽선이 입력을 표시하며, 프롬프트에는 캐릭터 이름도 모양 태그도 없습니다.

v1a에서 달라진 점

• 참조마다 가중치. separate 레이아웃에서는 사진마다 고유한 가중치가 붙습니다. 기본값은 1.0이고 0으로 두면 꺼집니다. 두 번째 사진을 0.4로 설정하면 외형을 덮어쓰지 않고 살짝 밀어줍니다.
• 간단 노드의 두 가지 모드. Character & Style은 참조의 렌더링을 그대로 가져오고, Character는 캐릭터만 가져와 아티스트 태그와 스타일 단어가 외형을 결정합니다.
• 6개의 워크플로. 두 캐릭터를 쓰는 구성과, 자체 프롬프트와 시드를 함께 제공하는 참조 가중치 비교가 포함됩니다.

행마다 두 개의 고정 시드: 참조 하나, 두 번째 참조 0.4, 그다음 1.0. 같은 조합에서 1.0이 항상 더 나은 결과는 아닙니다.

실행하기

1. 텍스트 인코더와 VAE를 포함해 Anima base v1.0을 설치합니다.
2. 저장소의 comfyui/snapref/를 ComfyUI/custom_nodes/snapref/로 복사하고 ComfyUI를 재시작합니다.
3. snapref_v2a.safetensors를 ComfyUI/models/loras/에 넣습니다. LoraLoader가 아니라 SnapRef 노드를 사용하세요. 이 파일은 하나의 키 뒤에 두 개의 LoRA 브랜치가 있는 구조라 일반 LoRA 로더는 제대로 읽지 못합니다.
4. 아래 워크플로를 열고, 노드 안의 사진 슬롯에 사진을 끌어다 놓은 뒤 장면만 작성합니다.

간단한 그래프는 832 x 1216에서 28 스텝, simple을 쓰는 Euler, CFG 4.5, fidelity 1.0으로 실행됩니다. 한 캐릭터의 두 뷰를 원한다면 두 번째 워크플로에서 두 번째 가중치를 0.4로 설정합니다:

FP8 파일은 382 MB 대신 195 MB입니다. 행별 스케일과 함께 E4M3FN 행렬을 저장하고, 노드가 로드할 때 bf16으로 복원하므로 이미지가 전체 가중치와 약간 다를 수 있습니다.

예상 결과

char 모드, 행마다 동일한 시드: 참조는 캐릭터를, 프롬프트는 스타일을 제공합니다.

두 번째 뷰는 의상과 실루엣을 더합니다. Persica는 가중치 1.0, Mia는 0.4로, 평균 점수가 아니라 선별한 예시입니다.

저자들의 고정 평가(64개 케이스, 시드 2개)에서 v2a는 v1a를 앞서지 못하고 비슷한 수준입니다. 모양 태그 재현율은 0.8722에서 0.8727, 헤드 SigLIP은 0.8989에서 0.8903, 전체 이미지 CCIP 거리는 0.0725에서 0.0757입니다. 정성적으로 보면 참조를 더 잘 따라가는 편이며, 카드에는 여전히 밝은 참조 얼굴에서 얼굴 디테일이 약점이라고 표시되어 있습니다. 지표는 구도, 포즈, 얼굴 감지에 따라 달라지므로 정상 여부를 확인하는 참고 자료 정도로만 보세요.

v1a로 이미 원하는 캐릭터가 나온다면 정확도만을 위해 바꿀 이유는 없습니다. 옮길 만한 이유는 참조별 가중치와 v2a에 맞춰 조정된 워크플로입니다.

사용 가능 항목

• 가중치, 노드, 6개의 워크플로, 그림: 0ppxnhximxr/snapref-v2a
• 학습, 데이터, 평가 코드: ArcAnima/SnapRef
• 이전 릴리스: snapref-v1a, SnapRef v1a에서 다룸