Skip to content
ComfyUI Wiki
Помогите создать лучшую базу знаний ComfyUI Стать спонсором
НовостиByteDance выпускает Seaweed-7B: Экономически эффективная базовая модель генерации видео

ByteDance выпускает Seaweed-7B: Экономически эффективная базовая модель генерации видео

ByteDance недавно объявил о значительном прорыве в области генерации видео — Seaweed-7B, базовой модели генерации видео с только 7 миллиардами параметров, но исключительной производительностью. Согласно официальному техническому отчету, эта модель превосходит основные модели с удвоенным количеством параметров по ключевым задачам, требуя только около одной трети стоимости обучения.

Прорывная производительность и эффективность

Seaweed-7B (производное от “Seed-Video”) демонстрирует впечатляющую производительность по множественным ключевым метрикам:

  • Масштаб параметров: С только 7B параметрами превосходит модель Wan 2.1 с 14B параметрами
  • Стоимость обучения: Завершила обучение с 665,000 часами H100 GPU, в то время как подобные модели обычно требуют более 2 миллионов часов GPU
  • Скорость вывода: Способна генерировать видео 720p при 24fps в реальном времени, в 62 раза быстрее, чем сопоставимые модели
  • Требования к ресурсам: Требует только 40GB VRAM для поддержки генерации разрешения 1280×720, делая её доступной для малых и средних команд

В оценках генерации видео из изображений Seaweed-7B достигла оценки Elo 1047 с 58% выигрышной ставкой, по сравнению с Wan 2.1 (14B параметров) только 53%, и Sora, показывающей только 36%.

Три ключевые технические инновации

Экономическая эффективность Seaweed-7B происходит от трех ключевых технических инноваций:

1. Технология очистки данных

Команда ByteDance разработала 6-этапный пайплайн очистки данных, который использует временно-пространственную сегментацию, фильтрацию качества и синтетическое улучшение для сокращения доли неэффективных данных с 42% до 2.9%, увеличивая эффективные обучающие данные до 97.1% и улучшая эффективность использования данных в 4 раза с той же вычислительной мощностью.

2. Инновационный дизайн архитектуры

Модель использует VAE с коэффициентом сжатия 64× и архитектуру гибридного потока Transformer:

  • Дизайн VAE: Отказывается от традиционного сжатия на основе патчей в пользу каузальной 3D сверточной архитектуры, обеспечивая реконструкцию высокого разрешения 720p, одновременно улучшая скорость сходимости модели на 30%
  • Оптимизация Transformer: Инновационная архитектура гибридного потока Diffusion разделяет 2/3 параметров прямой сети, сокращая вычисления на 20% по сравнению с архитектурами двойного потока

3. Прогрессивная стратегия обучения

Обучение модели разделено на четыре этапа:

  1. Фундамент изображений (256p): Начиная со статических изображений для построения прочного визуального фундамента
  2. Инициация короткого видео (360p): Обработка коротких последовательностей 3-5 секунд, фокусируясь на согласованности действий
  3. Прорыв высокого разрешения (720p): Оптимизация деталей высокого разрешения, увеличивая задачи текст-в-видео до 80%
  4. Тонкая настройка пост-обработки: Улучшение эстетических эффектов через SFT, оптимизация структуры движения с RLHF для избежания неестественных движений

Широкий спектр применений

Как базовая модель, Seaweed-7B поддерживает множественные нисходящие приложения:

  • Генерация видео из изображений: Создание согласованных видео из одиночных изображений или первого и последнего кадров
  • Генерация человеческого видео: Генерация реалистичных человеческих персонажей с разнообразными действиями и выражениями
  • Совместная генерация аудио-видео: Одновременная генерация соответствующего аудио и видеоконтента
  • Длинные видео и повествование: Поддержка односъемочных видео до одной минуты и многосъемочного длинного повествования
  • Генерация в реальном времени: Генерация видео 720p при 24fps в реальном времени
  • Генерация супер-разрешения: Увеличение видео до разрешения 2K QHD (2560×1440)
  • Генерация с контролем камеры: Реализация точного контроля камеры через определенные траектории для интерактивного исследования мира

Улучшенная физическая согласованность

Через пост-обучение на синтетических CGI-рендеренных видео, Seaweed-7B также улучшает физическую согласованность в генерации видео, одновременно сохраняя фотореалистичное качество, делая сложные действия и 3D сцены более естественными и реалистичными.

Связанные ссылки