ThinkSound: новая парадигма для многомодальной генерации и редактирования аудио

ThinkSound - это последняя система многомодальной генерации и редактирования аудио с открытым исходным кодом от Tongyi Lab, пионер во внедрении цепочки рассуждений (Chain-of-Thought, CoT) в генерацию аудио. Система поддерживает генерацию и редактирование аудио из различных модальностей, включая видео, текст и аудио, с высоким качеством, сильной синхронизацией и интерактивностью, позволяя ИИ “думать и создавать звук как звукорежиссеры-люди.”

Ключевые особенности

• Any2Audio: Поддерживает генерацию аудио из любого модального входа, включая видео, текст и аудио.
• Управляемая цепочкой рассуждений: Достигает пошаговых рассуждений через многомодальные большие языковые модели (MLLM), улучшая временную и семантическую согласованность между звуком, визуальными эффектами и текстом.
• Интерактивное редактирование на уровне объектов: Позволяет уточнять или редактировать конкретные звуковые события через клики по объектам видео или текстовые инструкции.
• Унифицированная система: Единая модель, поддерживающая генерацию, уточнение, редактирование и интерактивный рабочий процесс.
• Высокое качество и сильная синхронизация: Отличная производительность на авторитетных тестовых наборах, включая V2A и звуковые эффекты фильмов.

Технические особенности и рабочий процесс

ThinkSound делит генерацию и редактирование аудио на три этапа:

1. Генерация общего звукового ландшафта: Генерирует базовый звуковой ландшафт из видео, обеспечивая семантическое и временное выравнивание.
2. Уточнение на уровне объектов: Фокусируется на конкретных областях источников звука в видео для генерации специализированных звуков.
3. Редактирование на уровне инструкций: Интерактивно редактирует аудиоконтент на основе естественных языковых инструкций пользователя.

Обзор метода: Поддерживает генерацию аудио из любого модального входа с возможностями интерактивного редактирования.

Техническая архитектура: Многомодальные большие языковые модели работают в сочетании с моделями генерации аудио flow-matching.

Набор данных и открытый исходный код

Tongyi Lab создал AudioCoT, многомодальный аудио-набор данных, поддерживающий цепочку рассуждений, охватывающий различные реальные сценарии, включая животных, механизмы и окружающую среду, с высоким качеством данных и поддержкой интерактивного редактирования на уровне объектов и инструкций.

Оценка и применения

ThinkSound значительно превосходит основные методы (такие как MMAudio, V2A-Mappe, V-AURA, MovieGenAudio) по ключевым метрикам в авторитетных тестовых наборах, включая VGGSound и MovieGen Audio Bench, демонстрируя широкий потенциал применения в звуковых эффектах фильмов, играх, виртуальной реальности и других областях.

Связанные ссылки

• Страница проекта GitHub
• Демо HuggingFace
• Демо ModelScope
• Статья arXiv

Изображения и контент частично взяты с официальной страницы проекта и статьи, только для технического введения и обмена знаниями. Пожалуйста, свяжитесь с оригинальными авторами для любых вопросов.