Новости экосистемы ComfyUI: релизы открытых моделей, пользовательские ноды, рабочие процессы и инструменты для генерации изображений, видео и аудио.
Изображение → видеоSand AI открыл исходный код MAGI-1, авторегрессивной модели, которая генерирует видео по частям, предлагая версии с 24B и 4.5B параметрами и поддерживая множественные режимы генерации видео
Open-Weights
Изображение → видеоSkyworkAI выпускает новую модель генерации видео с открытым исходным кодом SkyReels-V2, поддерживающую видео бесконечной длины с возможностями текст-в-видео и изображение-в-видео
Open-Weights
Синтез речиNari Labs представляет модель преобразования текста в речь с открытым исходным кодом Dia 1.6B, способную генерировать многохарактерные диалоги напрямую из текста с эмоциями и невербальной коммуникацией
Open-Weights
МультимодальныеКоманда SkyReels Kunlun Wanwei выпускает и открывает исходный код SkyReels-V2, первой в мире модели генерации фильмов бесконечной длины, использующей фреймворк Diffusion Forcing, способной производить высококачественный, длительный видеоконтент
Open-Weights
Текст → изображениеShakker Labs запускает новую модель FLUX.1-dev-ControlNet-Union-Pro-2.0 с оптимизированными эффектами контроля, поддержкой множественных режимов контроля и меньшим размером модели
Open-Weights
Текст → изображениеInstantCharacter - это инновационный метод без настройки, который обеспечивает генерацию с сохранением персонажа из одного изображения, поддерживая различные нисходящие задачи
Open-Weights
Текст → видеоРазработанная Lvmin Zhang, технология FramePack сжимает контекст входного кадра, делая рабочую нагрузку генерации видео инвариантной к длине видео, позволяя обрабатывать многочисленные кадры даже на GPU ноутбуков
Open-Weights
Seaweed-7B достигает производительности, превосходящей модели с 14B параметрами, имея только 7 миллиардов параметров, при стоимости обучения всего в одну треть от отраслевых стандартов, принося новые возможности в область генерации видео
Open-Weights
Текст → видеоНовый фреймворк инпейнтинга видео FloED выпустил свой код и веса, достигая более высокой согласованности видео и вычислительной эффективности через направление оптического потока
Open-Weights
PixelFlow инновационно работает в сыром пиксельном пространстве, упрощая процесс генерации изображений без необходимости предобученных вариационных автоэнкодеров, обеспечивая сквозно обучаемые модели
Open-Weights
Изображение → 3DHoloPart может разлагать 3D модели на полные, семантически значимые части, решая проблемы редактирования в создании 3D контента
Open-Weights
Изображение → 3DUniRig использует авторегрессионные модели для генерации высококачественных скелетных структур и весов скиннинга для разнообразных 3D моделей, значительно упрощая рабочий процесс анимации
Open-Weights
МультимодальныеOmniSVG - это новая унифицированная мультимодальная модель генерации SVG, способная производить высокосложную, редактируемую векторную графику из различных входных данных, включая текст, изображения или ссылки на персонажей
Open-Weights
Текст → видеоИсследователи разрабатывают модель TTT-Video, используя технологию Test-Time Training на основе CogVideoX 5B, способную генерировать согласованные видео длиной до 63 секунд
MIT
Текст → изображениеКоманда ByteDance Creative Intelligence выпускает модель UNO, разблокируя большую управляемость через генерацию в контексте, достигая генерации высококачественных изображений от одного до множественных объектов
Open-Weights
Текст → изображениеКоманда Tiamat AI выпускает фреймворк EasyControl, добавляющий возможности условного управления к моделям DiT, теперь поддерживается в ComfyUI через плагин ComfyUI-easycontrol
Open-Weights
Текст → изображениеHiDream.ai выпускает HiDream-I1, новую модель генерации изображений из текста с открытым исходным кодом с 17B параметрами, которая превосходит существующие модели с открытым исходным кодом в множественных бенчмарках, поддерживая генерацию высококачественных изображений в различных стилях
Open-Weights
Изображение → 3DКоманда Stable-X представляет Hi3DGen, инновационную платформу для генерации высококачественных 3D моделей из изображений, решая проблему отсутствия геометрических деталей в существующих методах через технологию нормального мостирования
Open-Weights
Изображение → 3DTripoSF, основанный на инновационном представлении SparseFlex, поддерживает генерацию 3D моделей с разрешением до 1024³, способен обрабатывать открытые поверхности и сложные внутренние структуры, значительно улучшая качество 3D активов
Open-Weights
Текст → видеоKunlun Wanwei выпускает первую в мире коммерческую контролируемую платформу генерации видео SkyReels-A2, обеспечивающую генерацию многоэлементного видео через двухветвевую архитектуру, принося новые возможности для электронной коммерции, кинопроизводства и многого другого
Open-Weights