LanPaint 2.0.0: инпейтинг видео и аудио MiniMax H3

LanPaint выпустил версию 2.0.0 9 августа, добавив специализированный пайплайн инпейтинга видео и аудио MiniMax H3. LanPaint — это реализация для ComfyUI сэмплера инпейтинга без обучения из статьи TMLR LanPaint: Training-Free Diffusion Inpainting with Asymptotically Exact and Fast Conditional Sampling, и эта мажорная версия позволяет восстанавливать видео H3 и связанный с ним аудиопоток за один проход.

Как работает AV-пайплайн

Новый пайплайн позволяет рисовать маски для видео и аудиоинтервалы за одну сессию в редакторе, кодирует оба потока в один вложенный латентный тензор и выполняет один проход сэмплера:

1. LanPaint_VideoMaskEditor — выберите видео, рисуйте покадровые маски на ключевых кадрах (между ними они интерполируются через SDF) и задавайте аудиоинтервалы перетаскиванием на осциллограмме. Маска = 1 означает перегенерировать, 0 — сохранить.
2. LanPaint_AVEncode — кодирует кадры видео и аудиодорожку в один вложенный латентный тензор с прикреплёнными масками.
3. Сэмплер — запускается как обычно; аудиопоток денойзится по своему собственному сдвинутому расписанию сигм.
4. LanPaint_AVDecode — объединяет восстановленное видео с оригиналом по границе с маской и восстановленное аудио внутри маскированных интервалов с коротким кроссфейдом, сохраняя исходные fps и битовую глубину.

Вы также можете экспортировать маски прямо в видеофайл: кнопка Export mask video в редакторе создаёт ремукс-копию <name>_masked.mp4 с масками, встроенными в метаданные файла, так что клип с масками можно позже открыть заново или передать, не потеряв рисунок.

Как использовать в ComfyUI

Установите LanPaint как обычную пользовательскую ноду (через ComfyUI Manager или командой git clone https://github.com/scraed/LanPaint в папку ComfyUI/custom_nodes/), затем скачайте файлы модели MiniMax H3 и загрузите официальный пример инпейтинга AV:

Скачать рабочий процесс инпейтинга AV MiniMax H3 для LanPaint

В рабочем процессе используется нода LanPaint Sampler Custom (Advanced). Для справки: таблица ресурсов в README указывает примерно 38–43 ГБ видеопамяти для инпейтинга 40–81 кадра в разрешении 480p–880p при 20 шагах, поэтому карта на 24 ГБ справится с короткими клипами, а конфигурации с большим объёмом VRAM могут обрабатывать более длинные.

Доступность

LanPaint 2.0.0 — это бесплатное расширение ComfyUI с открытым исходным кодом (GitHub, ComfyUI Registry). Обновление также включает исправления совместимости с последним релизом ComfyUI. Помимо MiniMax H3, сэмплер продолжает поддерживать рабочие процессы инпейтинга для SDXL, Flux, Hunyuan, Qwen-Image, Krea 2, Z-Image, Ideogram 4 и Wan 2.2.