Новости экосистемы ComfyUI: релизы открытых моделей, пользовательские ноды, рабочие процессы и инструменты для генерации изображений, видео и аудио.
Изображение → 3DTencent запускает систему Hunyuan3D 2.0 с двухэтапным процессом для генерации высококачественных 3D моделей, включая несколько серий моделей с открытым исходным кодом, которые поддерживают создание высокоразрешающих 3D активов из текста и изображений
Open-Weights
Kuaishou Technology запустила ReCamMaster, технологию генеративного видео, которая позволяет пользователям создавать новые перспективы камеры и пути движения из одного видео.
Open-Weights
Текст → видеоLuChen Technology выпускает Open-Sora 2.0, модель генерации видео с открытым исходным кодом, достигая производительности, близкой к топовым коммерческим моделям, всего за $200,000 в затратах на обучение
Open-Weights
Лаборатория Ali Tongyi запускает многофункциональную модель создания и редактирования видео VACE, интегрирующую различные задачи обработки видео в единую платформу для снижения порога видеотворчества
Open-Weights
Microsoft Research представляет интеллектуальную многослойную генерацию на основе глобальных текстовых подсказок, поддерживающую создание прозрачных изображений с 50+ независимыми слоями
Open-Weights
Изображение → видеоКоманда Hunyuan Tencent выпускает модель с открытым исходным кодом для генерации 5-секундных видео из одиночных изображений, с интеллектуальной генерацией движения и пользовательскими эффектами
Open-Weights
МультимодальныеAlibaba представляет систему анализа документов, способную понимать как текст, так и изображения, улучшая эффективность обработки сложных документов более чем на 10%
Open-Weights
Текст → изображениеTHUDM выпускает модель генерации изображений CogView4 с открытым исходным кодом и нативной поддержкой китайского языка, лидирующую в нескольких бенчмарках
Open-Weights
МультимодальныеSesame Research представляет двухтрансформерную разговорную голосовую модель CSM, достигающую человеческого взаимодействия с архитектурой открытого исходного кода
Open-Weights
Alibaba официально открыла исходный код своей последней модели генерации видео Wan2.1, которая может работать всего с 8GB видеопамяти, поддерживая генерацию видео высокой четкости, динамические субтитры и многоязычное дублирование, превосходя модели как Sora с общим баллом 86.22% в таблице лидеров VBench
Open-Weights
Группа международной цифровой коммерции Alibaba (AIDC-AI) выпускает плагин ComfyUI Copilot, упрощающий пользовательский опыт ComfyUI через естественное языковое взаимодействие и ИИ-управляемую функциональность, поддерживая китайское взаимодействие и предлагая интеллектуальные рекомендации узлов и другие функции
Open-Weights
Alibaba объявила, что ее последняя модель генерации видео WanX 2.1 будет открыта во втором квартале 2025 года, поддерживая генерацию видео высокой четкости, динамические субтитры и многоязычное дублирование, занимая первое место в таблице лидеров VBench с общим баллом 84.7%
Open-Weights
МультимодальныеGoogle представляет новую модель PaliGemma 2 mix, поддерживающую различные визуальные задачи, включая описание изображений, OCR, детекцию объектов, с версиями на 3B, 10B и 28B параметров
Open-Weights
Skywork открыл исходный код своей последней модели генерации видео SkyReels-V1, которая поддерживает генерацию из текста в видео и из изображения в видео, с кинематографическими эффектами освещения и естественным представлением движения, и теперь доступна для коммерческого использования.
Open-Weights
Исследователи предложили новый метод переосвещения видео Light-A-Video, который достигает временно плавных эффектов переосвещения видео через Consistent Light Attention (CLA) и Progressive Light Fusion (PLF).
Open-Weights
StepFun выпустил модель генерации видео из текста Step-Video-T2V с открытым исходным кодом, которая имеет 300 миллиардов параметров, поддерживает генерацию высококачественных видео до 204 кадров и предоставляет платформу для онлайн-опыта
Open-Weights
Изображение → 3DKuaishou официально выпускает фреймворк генерации видео из текста CineMaster, обеспечивающий создание высококачественного видеоконтента с помощью 3D-осознанных технологий
Open-Weights
Последний проект Alibaba с открытым исходным кодом — InspireMusic, единая платформа для генерации аудио на базе FunAudioLLM, поддерживающая создание музыки, песен и различные задачи синтеза звука.
Open-Weights
Текст → изображениеИсследовательский институт Alibaba открывает исходный код инструмента генерации изображений ACE++, поддерживающего генерацию изображений с согласованными персонажами из одного входного изображения благодаря технологии контекстно-осознанного заполнения, предлагая онлайн-демо и три специализированные модели.
Open-Weights
Исследовательская команда ByteDance выпускает фреймворк анимации человека OmniHuman-1, способный генерировать высококачественные анимации человека из одного изображения и сигналов движения.
Open-Weights