FloED: 광학 흐름 가이드 확산 모델을 활용한 효율적인 오픈소스 비디오 복원 기술

최근 홍콩과학기술대학교와 알리바바 다모 아카데미의 연구팀이 FloED라는 비디오 복원 프레임워크를 발표했습니다. 이 프로젝트는 광학 흐름 가이드 확산 모델 기술을 활용하여 비디오 복원 작업에 더 높은 시간적 일관성과 계산 효율성을 제공합니다. 연구팀은 추론 코드와 모델 가중치를 오픈소스로 공개하여 AI 비디오 처리 분야에 새로운 도구를 제공했습니다.

해결된 핵심 문제

비디오 복원은 AI 기술을 사용하여 비디오에서 누락되거나 제거해야 할 부분을 채워 결과가 자연스럽고 일관되게 보이도록 하는 것을 말합니다. 기존의 확산 모델 기반 비디오 복원 방법에는 두 가지 주요 문제가 있습니다:

1. 시간적 일관성 부족: 복원된 비디오는 프레임 간에 깜박임과 불안정성이 자주 발생합니다
2. 낮은 계산 효율성: 확산 모델 자체가 계산 비용이 높고, 비디오 처리에 필요한 추가 단계로 인해 기존 방법의 속도가 느립니다

FloED는 영리한 설계를 통해 이러한 문제들을 해결하여 비디오 복원 결과를 더 자연스럽게 만들고 처리 효율성을 크게 향상시켰습니다.

기술적 혁신점

FloED의 주요 혁신점은 다음과 같습니다:

• 이중 분기 아키텍처: 전용 분기가 먼저 손상된 광학 흐름(비디오 내 객체의 움직임 정보)을 복원한 다음, 이 움직임 정보를 다중 스케일 흐름 어댑터를 통해 주 복원 분기에 제공하여 생성된 콘텐츠의 방향을 안내합니다

• 잠재 공간 보간 가속: 광학 흐름 정보를 사용하여 특징 보간을 수행하고, 추가 훈련 없이 다단계 노이즈 제거 과정을 가속화합니다

• 흐름 어텐션 캐싱: 계산 과정을 최적화하여 광학 흐름 도입으로 인한 추가 계산 오버헤드를 줄입니다

이러한 기술들은 FloED가 고품질 비디오 복원 결과를 유지하면서도 처리 속도를 크게 향상시킬 수 있게 합니다.

응용 시나리오 및 데모

FloED는 주로 두 가지 유형의 비디오 복원 작업에 적용됩니다:

객체 제거 (Object Removal)

배경의 일관성과 자연스러운 전환을 유지하면서 비디오에서 원치 않는 객체를 제거합니다.

배경 복원 (Background Restoration)

비디오의 넓은 배경 영역을 복구하여 주변 환경과의 시각적, 시간적 일관성을 유지합니다.

오픈소스 진행 상황

최신 프로젝트 업데이트에 따르면, FloED 팀은 2025년 4월 13일에 추론 코드와 모델 가중치를 발표했습니다. 관심 있는 사용자는 다음 단계를 통해 접근할 수 있습니다:

1. 필요한 환경 설치 (환경 구성 파일을 통해)
2. FloED 가중치 다운로드 및 준비
3. 제공된 예제 스크립트를 사용하여 빠르게 추론 시작

향후 계획

프로젝트 팀의 로드맵에 따르면, 향후 다음 항목이 공개될 예정입니다:

• 잠재 공간 보간 코드
• 훈련 코드 및 평가 벤치마크

관련 링크

• 프로젝트 홈페이지
• GitHub 저장소
• 연구 논문