PixelFlow: 픽셀 공간에서 직접 작동하는 생성 모델

홍콩 대학교와 Adobe의 연구자들이 공동으로 개발한 PixelFlow는 원시 픽셀 공간에서 직접 작동하는 이미지 생성 모델 패밀리입니다. 현재 주류를 이루는 잠재 공간 모델과 달리 PixelFlow는 이미지 생성에 완전히 새로운 접근 방식을 채택했습니다.

혁신적인 특징

PixelFlow의 가장 중요한 혁신은 대부분의 주류 모델처럼 잠재 공간이 아닌 원시 픽셀 공간에서 직접 작동한다는 점입니다. 이 접근 방식은 다음과 같은 이점으로 이미지 생성 프로세스를 단순화합니다:

• 사전 훈련된 변분 오토인코더(VAE)에 의존하지 않음
• 전체 모델의 엔드투엔드 훈련 지원
• 효율적인 캐스케이드 흐름 모델링을 통해 픽셀 공간에서 감당할 수 있는 계산 비용 달성

256x256 ImageNet 클래스 조건부 이미지 생성 벤치마크에서 PixelFlow는 FID 점수 1.98을 달성했으며, 텍스트에서 이미지로의 결과는 이미지 품질, 예술성 및 의미론적 제어 측면에서 우수함을 보여줍니다.

온라인 데모

PixelFlow 팀은 사용자가 모델의 이미지 생성 기능을 체험할 수 있는 HuggingFace 온라인 데모를 제공합니다: https://huggingface.co/spaces/ShoufaChen/PixelFlow

모델 라이브러리

PixelFlow는 현재 두 가지 모델을 제공합니다:

1. 클래스에서 이미지로 모델: 파라미터 수 677M, FID 점수 1.98
2. 텍스트에서 이미지로 모델: 파라미터 수 882M

이 두 모델에 대한 자세한 정보는 다음과 같습니다:

두 모델 모두 HuggingFace 플랫폼에서 이용할 수 있습니다.

미래 전망

연구팀은 이 새로운 패러다임이 차세대 시각 생성 모델에 영감을 주고 새로운 기회를 열어줄 것으로 기대합니다. PixelFlow의 접근 방식은 생성 모델의 개발 문턱을 낮추고, 더 효율적이고 가벼운 이미지 생성 방법을 촉진할 수 있습니다.

관련 링크

• PixelFlow 논문
• HuggingFace 데모
• 프로젝트 홈페이지