Skip to content
더 나은 ComfyUI 지식베이스 구축을 돕기 후원자 되기
새소식OmniSVG: 푸단대학교와 StepFun이 통합 벡터 그래픽 생성 모델 출시

바이트댄스, Seaweed-7B 출시: 비용 효율적인 비디오 생성 기반 모델

2025. 04. 14.

OmniSVG: 푸단대학교와 StepFun이 통합 벡터 그래픽 생성 모델 출시

푸단대학교와 StepFun이 공동으로 OmniSVG를 출시했습니다. 이 모델은 통합된 확장 가능한 벡터 그래픽(SVG) 생성 모델로, 텍스트, 이미지 또는 캐릭터 참조를 포함한 다양한 입력 방법을 통해 간단한 아이콘부터 복잡한 애니메이션 캐릭터까지 고품질 벡터 그래픽을 생성할 수 있습니다.

전통적인 이미지 생성 모델과 달리 OmniSVG는 무한히 확장 가능하고 완전히 편집 가능한 SVG 파일을 생성하여 디자이너가 생성된 결과를 직접 후처리 및 수정에 활용할 수 있게 하여, AI 생성 그래픽의 전문 디자인 워크플로우에서의 실용성을 크게 향상시킵니다.

OmniSVG 모델 예시

기술 혁신 및 운영 원칙

OmniSVG는 사전 훈련된 비전-언어 모델(VLM) Qwen-VL을 기반으로 하며, 혁신적인 SVG 토큰화 방법을 통해 벡터 그래픽 생성의 핵심 과제를 해결합니다. 이 모델은 SVG 명령과 좌표를 개별 토큰으로 매개변수화하여 구조적 논리를 기하학적 세부 사항과 분리하면서 복잡한 SVG 구조의 표현 능력을 유지합니다.

OmniSVG 워크플로우

이 디자인은 여러 가지 주요 이점을 제공합니다:

  • 효율적인 생성 프로세스: 전통적인 방법에 비해 훈련 속도가 3배 이상 향상되었습니다.
  • 긴 컨텍스트 지원: 최대 30,000개의 토큰 시퀀스를 처리하여 복잡한 SVG의 풍부한 세부 사항 생성을 지원합니다.
  • 다중 모드 입력 호환성: 텍스트 설명, 이미지 참조 또는 캐릭터 참조를 포함한 다양한 입력 방법을 지원합니다.

생성 프로세스 시연:

생성 프로세스 데모

여러 생성 모드

OmniSVG는 다양한 응용 시나리오의 요구를 충족하기 위해 여러 생성 모드를 지원합니다:

텍스트-투-SVG 생성

사용자는 “벚꽃 나무 아래에 앉아 있는 만화 고양이”와 같은 자연어 설명을 통해 의미에 적합한 벡터 그래픽을 생성할 수 있습니다.

텍스트-투-SVG 예시

이미지-투-SVG 변환

비트맵(사진 또는 손으로 그린 스케치 등)을 경로로 구성된 벡터 그래픽으로 자동 변환하여 원본 이미지의 시각적 특징을 유지하면서 편집 가능성을 제공합니다.

이미지-투-SVG 예시

캐릭터 참조 SVG 생성

기존 캐릭터 이미지를 기반으로 동일한 캐릭터 특징을 유지하면서 다른 포즈나 시나리오의 벡터 그래픽을 생성하여 애니메이션 및 게임 캐릭터 디자인에 특히 유용합니다.

캐릭터 참조 생성 예시

MMSVG-2M 데이터셋

SVG 생성 기술을 발전시키기 위해 연구팀은 200만 개의 샘플을 포함한 첫 번째 대규모 다중 모드 SVG 데이터셋인 MMSVG-2M 데이터셋을 오픈소스로 공개했습니다. 이 데이터셋은 아이콘, 일러스트레이션 및 캐릭터 디자인과 같은 범주를 포함합니다.

MMSVG-2M 데이터셋 시각화

MMSVG-2M 데이터셋의 주요 특징은 다음과 같습니다:

  • 풍부한 다양성: 간단한 아이콘부터 복잡한 캐릭터 디자인까지 다양한 복잡성을 포함합니다.
  • 다중 모드 주석: 각 SVG는 텍스트 설명과 해당 비트맵 렌더링을 포함합니다.
  • 고품질 샘플: 전문 수준의 벡터 그래픽 디자인 샘플을 제공합니다.

현재 연구팀은 Hugging Face 플랫폼에서 MMSVG-Icon 및 MMSVG-Illustration 하위 데이터셋을 오픈소스로 공개했으며, MMSVG-Character 데이터셋은 가까운 시일 내에 공개할 예정입니다.

응용 가능성 및 한계

응용 시나리오

  • 디자인 자동화: 브랜드 아이콘 및 일러스트 자료를 신속하게 생성하여 수작업 시간을 단축합니다.
  • 동적 콘텐츠 생성: 애니메이션 도구와 결합하여 캐릭터 동작 시퀀스를 일괄 생성합니다.
  • 크로스 플랫폼 적응: 생성된 벡터 그래픽은 손실 없이 확장 가능하여 모바일 장치에서 4K 디스플레이까지 다양한 해상도에 적합합니다.

현재 한계

  • 생성 속도: 복잡한 샘플은 수만 개의 토큰 생성을 요구하여 긴 추론 시간을 초래합니다(예: 애니메이션 캐릭터 생성에 139초 소요).
  • 스타일 일반화: 훈련 세트 스타일에 없는 이미지 입력에 대한 변환 효과가 제한적이며, 다중 스타일 데이터의 추가 통합이 필요합니다.

오픈 소스 계획 및 리소스

연구팀은 MMSVG-Icon 및 MMSVG-Illustration 데이터셋을 오픈소스로 공개했으며, 가까운 시일 내에 모델 코드와 사전 훈련된 가중치를 오픈소스로 공개할 계획입니다. OmniSVG 프로젝트의 오픈 소스화는 SVG 생성 분야에 새로운 기술 패러다임을 제공하여 디자인 도구의 지능적 업그레이드를 촉진할 것입니다.

관련 링크

OmniSVG의 출시는 벡터 그래픽 생성 기술의 중요한 발전을 의미하며, 그래픽 디자인, UI/UX 제작 및 시각 콘텐츠 생산과 같은 분야에 새로운 가능성을 가져오고, AI 생성 콘텐츠의 전문 디자인 워크플로우 통합을 위한 새로운 방향을 제공합니다.