Skip to content
새소식InstantX, FLUX.1-dev IP-Adapter 모델 출시

InstantX, FLUX.1-dev IP-Adapter 모델 출시

InstantX 팀은 2024년 11월 22일 FLUX.1-dev IP-Adapter 모델을 공식적으로 오픈 소스화했습니다. 이는 FLUX.1-dev를 기반으로 한 IP-Adapter 구현으로, FLUX 모델에 강력한 이미지 참조 기능을 제공합니다.

FLUX.1-dev IP-Adapter 주요 기능

InstantX Releases FLUX.1-dev IP-Adapter Model

  • google/siglip-so400m-patch14-384를 이미지 인코더로 사용
  • 투영을 위한 간단한 이중 레이어 선형 MLPProjModel 구현
  • 이미지 토큰 수는 128로 설정
  • 1천만 개의 오픈 소스 데이터셋으로 배치 크기 128, 80,000 스텝으로 훈련

기술적 구현

모델은 38개의 단일 레이어 블록과 19개의 이중 레이어 블록에 새로운 레이어를 추가합니다. 이미지 인코딩을 위해 google/siglip-so400m-patch14-384를 사용하며, 주로 뛰어난 성능 때문에 선택되었습니다.

사용 방법

현재 두 가지 주요 사용 방법을 지원합니다:

  1. Python 코드를 통한 직접 호출
  2. ComfyUI에서 ComfyUI-IPAdapter-Flux 플러그인 사용

ComfyUI 워크플로우

InstantX는 즉시 사용할 수 있는 예제 워크플로우 파일을 제공합니다:

온라인 체험

사용자는 다음 플랫폼을 통해 FLUX.1-dev-IP-Adapter를 체험할 수 있습니다:

오픈 소스 리소스

관련 리소스는 이제 오픈 소스화되었습니다:

사용 제한

모델은 현재 몇 가지 제한 사항이 있습니다:

  • 세밀한 스타일 전환이나 캐릭터 일관성에 적합하지 않음
  • 콘텐츠 누출과 스타일 전환 간의 절충
  • 현재 버전은 다양성이 제한될 수 있음

라이선스

이 모델은 flux-1-dev-non-commercial-license 하에 비상업적 용도로만 사용할 수 있도록 출시되었습니다.

이번 출시는 FLUX 생태계에 새로운 가능성을 가져다주며, 커뮤니티에서 더 흥미로운 응용 프로그램을 영감을 줄 것으로 기대됩니다.