텐센트 훈위안과 InstantX 팀, InstantCharacter 오픈소스 프로젝트 출시

텐센트 훈위안(Hunyuan)과 InstantX 팀이 공동으로 InstantCharacter 오픈소스 프로젝트를 출시했습니다. 이는 단일 이미지에서 캐릭터 특성을 보존하는 생성을 실현하는 튜닝 불필요 방식으로, 다양한 다운스트림 작업을 지원합니다. 이 프로젝트는 “한 장의 이미지 + 한 문장”이라는 간단한 접근법을 통해 다양한 장면에서도 캐릭터의 일관성을 유지하는 이미지 생성을 가능하게 합니다.

핵심 기능

장면 간 캐릭터 일관성

InstantCharacter는 참조 이미지와 텍스트 설명을 기반으로 다양한 장면(주방, 도시 등), 다양한 행동(달리기, 대화 등) 및 다양한 시점에서도 캐릭터의 외형적 특징의 높은 일관성을 유지할 수 있습니다. 사용자는 캐릭터 이미지 한 장만 입력하고 텍스트 지시를 조정하여 다양한 환경에서 캐릭터의 일관된 이미지를 생성할 수 있습니다.

유연한 제어 및 편집 기능

• 포즈와 장면 분리: 캐릭터 행동과 배경 환경을 독립적으로 조정 가능
• 다중 스타일 적응: 사실적, 만화, 사이버펑크 등 다양한 예술 스타일과 호환
• 텍스트 기반 생성: 프롬프트만 수정하면 생성 효과를 빠르게 전환 가능

효율적인 생성 아키텍처

이 프로젝트는 경량 기술을 사용하여 최소한의 매개변수 조정으로 스타일 전이를 실현하고, 컴퓨팅 리소스 소비를 크게 줄이며 생성 효율을 향상시킵니다.

기술 혁신

InstantCharacter는 확산 변환기(Diffusion Transformer)를 사용하여 생성 프레임워크를 구축하고 기존 U-Net 아키텍처의 한계를 극복했습니다. 이 프레임워크는 개방형 도메인 캐릭터 특징을 처리하기 위한 확장 가능한 어댑터 모듈을 도입하고 확산 모델의 잠재 공간과 원활하게 상호작용하여 모델의 일반화 능력과 이미지 정확도를 효과적으로 향상시킵니다.

이 프로젝트는 수천만 개의 샘플이 포함된 대규모 데이터셋으로 훈련되어 쌍을 이루는 데이터를 통해 신원 일관성을 최적화하고 쌍을 이루지 않는 데이터를 통해 텍스트 편집 가능성을 강화함으로써 독특한 이중 경로 최적화 전략을 형성합니다.

응용 시나리오

InstantCharacter는 여러 분야에서 광범위한 응용 전망을 가지고 있습니다:

• 영화 및 애니메이션: 스토리보드 스케치와 컨셉 디자인을 빠르게 생성하여 캐릭터 모델링 주기 단축
• 게임 개발: 새로운 스토리 장면과 같은 IP 파생 캐릭터 확장 콘텐츠를 쉽게 제작
• 만화 제작: 다중 프레임 만화 캐릭터 동적 시퀀스를 효율적으로 생성
• 개인 창작: 전문적인 모델링 경험 없이도 소셜 미디어용 맞춤형 이미지를 빠르게 제작

오픈소스 생태계 및 리소스

InstantCharacter는 Flux와 같은 오픈소스 텍스트-이미지 모델을 지원하고 개발자가 확장할 수 있는 플러그인 도구를 제공합니다. 관련 리소스:

• 공식 웹사이트 및 코드 저장소: https://github.com/Tencent/InstantCharacter
• Hugging Face 온라인 체험: https://huggingface.co/spaces/InstantX/InstantCharacter
• 프로젝트 홈페이지: https://instantcharacter.github.io/

관련 링크

• InstantCharacter 프로젝트 페이지
• Hugging Face 온라인 데모