Новости экосистемы ComfyUI: релизы открытых моделей, пользовательские ноды, рабочие процессы и инструменты для генерации изображений, видео и аудио.
Текст → видеоKunlun Wanwei выпускает первую в мире коммерческую контролируемую платформу генерации видео SkyReels-A2, обеспечивающую генерацию многоэлементного видео через двухветвевую архитектуру, принося новые возможности для электронной коммерции, кинопроизводства и многого другого
Open-Weights
МультимодальныеЛаборатория Tongyi группы Alibaba представляет VACE, первую в мире унифицированную платформу для разнообразных задач с видео, охватывающую генерацию видео из текста, редактирование видео и сложные комбинации задач
Open-Weights
МультимодальныеПроект StarVector реализует автоматическую генерацию SVG векторной графики из изображений и текста, предоставляя новые творческие инструменты для дизайнеров и разработчиков.
Open-Weights
Текст → изображениеByteDance представляет InfiniteYou (InfU), инновационную платформу на основе Diffusion Transformers, которая обеспечивает гибкое пересоздание фотографий с сохранением личности пользователя, решая ограничения существующих методов в отношении сходства личности, выравнивания текст-изображение и качества генерации
MIT
Stability AI запускает новую ИИ-модель Stable Virtual Camera, способную конвертировать обычные фотографии в 3D видео с аутентичными эффектами глубины и перспективы, предоставляя создателям интуитивный контроль камеры
Open-Weights
Изображение → 3DУниверситет Цинхуа и Tencent AI Lab совместно представляют StdGEN, инновационный пайплайн, который генерирует высококачественных семантически разложенных 3D персонажей из одиночных изображений, обеспечивая разделение тела, одежды и волос
Open-Weights
Изображение → 3DTencent запускает систему Hunyuan3D 2.0 с двухэтапным процессом для генерации высококачественных 3D моделей, включая несколько серий моделей с открытым исходным кодом, которые поддерживают создание высокоразрешающих 3D активов из текста и изображений
Open-Weights
Kuaishou Technology запустила ReCamMaster, технологию генеративного видео, которая позволяет пользователям создавать новые перспективы камеры и пути движения из одного видео.
Open-Weights
Текст → видеоLuChen Technology выпускает Open-Sora 2.0, модель генерации видео с открытым исходным кодом, достигая производительности, близкой к топовым коммерческим моделям, всего за $200,000 в затратах на обучение
Open-Weights
Лаборатория Ali Tongyi запускает многофункциональную модель создания и редактирования видео VACE, интегрирующую различные задачи обработки видео в единую платформу для снижения порога видеотворчества
Open-Weights
Microsoft Research представляет интеллектуальную многослойную генерацию на основе глобальных текстовых подсказок, поддерживающую создание прозрачных изображений с 50+ независимыми слоями
Open-Weights
Изображение → видеоКоманда Hunyuan Tencent выпускает модель с открытым исходным кодом для генерации 5-секундных видео из одиночных изображений, с интеллектуальной генерацией движения и пользовательскими эффектами
Open-Weights
МультимодальныеAlibaba представляет систему анализа документов, способную понимать как текст, так и изображения, улучшая эффективность обработки сложных документов более чем на 10%
Open-Weights
Текст → изображениеTHUDM выпускает модель генерации изображений CogView4 с открытым исходным кодом и нативной поддержкой китайского языка, лидирующую в нескольких бенчмарках
Open-Weights
МультимодальныеSesame Research представляет двухтрансформерную разговорную голосовую модель CSM, достигающую человеческого взаимодействия с архитектурой открытого исходного кода
Open-Weights
Alibaba официально открыла исходный код своей последней модели генерации видео Wan2.1, которая может работать всего с 8GB видеопамяти, поддерживая генерацию видео высокой четкости, динамические субтитры и многоязычное дублирование, превосходя модели как Sora с общим баллом 86.22% в таблице лидеров VBench
Open-Weights
Группа международной цифровой коммерции Alibaba (AIDC-AI) выпускает плагин ComfyUI Copilot, упрощающий пользовательский опыт ComfyUI через естественное языковое взаимодействие и ИИ-управляемую функциональность, поддерживая китайское взаимодействие и предлагая интеллектуальные рекомендации узлов и другие функции
Open-Weights
Alibaba объявила, что ее последняя модель генерации видео WanX 2.1 будет открыта во втором квартале 2025 года, поддерживая генерацию видео высокой четкости, динамические субтитры и многоязычное дублирование, занимая первое место в таблице лидеров VBench с общим баллом 84.7%
Open-Weights
МультимодальныеGoogle представляет новую модель PaliGemma 2 mix, поддерживающую различные визуальные задачи, включая описание изображений, OCR, детекцию объектов, с версиями на 3B, 10B и 28B параметров
Open-Weights
Skywork открыл исходный код своей последней модели генерации видео SkyReels-V1, которая поддерживает генерацию из текста в видео и из изображения в видео, с кинематографическими эффектами освещения и естественным представлением движения, и теперь доступна для коммерческого использования.
Open-Weights