Новости экосистемы ComfyUI: релизы открытых моделей, пользовательские ноды, рабочие процессы и инструменты для генерации изображений, видео и аудио.
Текст → изображениеInstantCharacter - это инновационный метод без настройки, который обеспечивает генерацию с сохранением персонажа из одного изображения, поддерживая различные нисходящие задачи
Open-Weights
Текст → видеоРазработанная Lvmin Zhang, технология FramePack сжимает контекст входного кадра, делая рабочую нагрузку генерации видео инвариантной к длине видео, позволяя обрабатывать многочисленные кадры даже на GPU ноутбуков
Open-Weights
Seaweed-7B достигает производительности, превосходящей модели с 14B параметрами, имея только 7 миллиардов параметров, при стоимости обучения всего в одну треть от отраслевых стандартов, принося новые возможности в область генерации видео
Open-Weights
Текст → видеоНовый фреймворк инпейнтинга видео FloED выпустил свой код и веса, достигая более высокой согласованности видео и вычислительной эффективности через направление оптического потока
Open-Weights
PixelFlow инновационно работает в сыром пиксельном пространстве, упрощая процесс генерации изображений без необходимости предобученных вариационных автоэнкодеров, обеспечивая сквозно обучаемые модели
Open-Weights
Изображение → 3DHoloPart может разлагать 3D модели на полные, семантически значимые части, решая проблемы редактирования в создании 3D контента
Open-Weights
Изображение → 3DUniRig использует авторегрессионные модели для генерации высококачественных скелетных структур и весов скиннинга для разнообразных 3D моделей, значительно упрощая рабочий процесс анимации
Open-Weights
МультимодальныеOmniSVG - это новая унифицированная мультимодальная модель генерации SVG, способная производить высокосложную, редактируемую векторную графику из различных входных данных, включая текст, изображения или ссылки на персонажей
Open-Weights
Текст → видеоИсследователи разрабатывают модель TTT-Video, используя технологию Test-Time Training на основе CogVideoX 5B, способную генерировать согласованные видео длиной до 63 секунд
MIT
Текст → изображениеКоманда ByteDance Creative Intelligence выпускает модель UNO, разблокируя большую управляемость через генерацию в контексте, достигая генерации высококачественных изображений от одного до множественных объектов
Open-Weights
Текст → изображениеКоманда Tiamat AI выпускает фреймворк EasyControl, добавляющий возможности условного управления к моделям DiT, теперь поддерживается в ComfyUI через плагин ComfyUI-easycontrol
Open-Weights
Текст → изображениеHiDream.ai выпускает HiDream-I1, новую модель генерации изображений из текста с открытым исходным кодом с 17B параметрами, которая превосходит существующие модели с открытым исходным кодом в множественных бенчмарках, поддерживая генерацию высококачественных изображений в различных стилях
Open-Weights
Изображение → 3DКоманда Stable-X представляет Hi3DGen, инновационную платформу для генерации высококачественных 3D моделей из изображений, решая проблему отсутствия геометрических деталей в существующих методах через технологию нормального мостирования
Open-Weights
Изображение → 3DTripoSF, основанный на инновационном представлении SparseFlex, поддерживает генерацию 3D моделей с разрешением до 1024³, способен обрабатывать открытые поверхности и сложные внутренние структуры, значительно улучшая качество 3D активов
Open-Weights
Текст → видеоKunlun Wanwei выпускает первую в мире коммерческую контролируемую платформу генерации видео SkyReels-A2, обеспечивающую генерацию многоэлементного видео через двухветвевую архитектуру, принося новые возможности для электронной коммерции, кинопроизводства и многого другого
Open-Weights
МультимодальныеЛаборатория Tongyi группы Alibaba представляет VACE, первую в мире унифицированную платформу для разнообразных задач с видео, охватывающую генерацию видео из текста, редактирование видео и сложные комбинации задач
Open-Weights
МультимодальныеПроект StarVector реализует автоматическую генерацию SVG векторной графики из изображений и текста, предоставляя новые творческие инструменты для дизайнеров и разработчиков.
Open-Weights
Текст → изображениеByteDance представляет InfiniteYou (InfU), инновационную платформу на основе Diffusion Transformers, которая обеспечивает гибкое пересоздание фотографий с сохранением личности пользователя, решая ограничения существующих методов в отношении сходства личности, выравнивания текст-изображение и качества генерации
MIT
Stability AI запускает новую ИИ-модель Stable Virtual Camera, способную конвертировать обычные фотографии в 3D видео с аутентичными эффектами глубины и перспективы, предоставляя создателям интуитивный контроль камеры
Open-Weights
Изображение → 3DУниверситет Цинхуа и Tencent AI Lab совместно представляют StdGEN, инновационный пайплайн, который генерирует высококачественных семантически разложенных 3D персонажей из одиночных изображений, обеспечивая разделение тела, одежды и волос
Open-Weights