Новости ComfyUI и релизы открытого ИИ

Tongyi Lab открывает исходный код ThinkSound, первой унифицированной системы генерации и редактирования аудио Any2Audio, поддерживающей цепочку рассуждений, позволяющей многомодальные входы, включая видео, текст и аудио, с высоким качеством, сильной синхронизацией и возможностями интерактивного редактирования.

Open-Weights

ByteDance открывает исходный код модели XVerse, позволяющей точный независимый контроль нескольких идентичностей объектов и семантических атрибутов (как поза, стиль, освещение), улучшая персонализацию и возможности сложных сцен в генерации ИИ-изображений.

Open-Weights

Black Forest Labs выпускает версию Flux.1 Kontext Dev с открытым исходным кодом, модель диффузионного трансформера с 12 миллиардами параметров, с немедленной нативной поддержкой в ComfyUI

Open-Weights

VectorSpaceLab выпускает OmniGen2, мощную многомодальную модель генерации, которая поддерживает точное локальное редактирование изображений через инструкции на естественном языке, включая удаление и замену объектов, перенос стиля, обработку фона и многое другое

Open-Weights

Исследовательская команда NVIDIA представляет UniRelight, универсальную технологию переосвещения на основе диффузии, которая достигает высококачественных эффектов переосвещения через одно изображение или видео

Open-Weights

Команда NUS представляет проект OmniConsistency, достигающий уровня согласованности стилизации изображений GPT-4o всего с 2600 парами изображений и 500 часами обучения на GPU, теперь поддерживает узлы ComfyUI

Open-Weights

Black Forest Labs запускает серию моделей FLUX.1 Kontext, первые, достигшие контекстно-осведомленного редактирования на основе текстовых и изображений входов, поддерживающие сохранение согласованности персонажей и функции локализованного редактирования

Open-Weights

ByteDance и Университет штата Мичиган совместно предлагают метод ID-Patch, достигая генерации персонализированных изображений с множественной идентичностью с улучшенным сохранением идентичности и эффективностью генерации, подходящий для групповых фотографий, рекламы и других многоперсональных сценариев.

Open-Weights

Tencent выпускает HunyuanVideo-Avatar, обеспечивая высококачественные, эмоционально контролируемые видео цифрового человека из изображений и аудио, подходящие для коротких видео, рекламы электронной коммерции и многого другого.

Open-Weights

Pixel-Reasoner, основанная на Qwen2, предлагает глобальное и локальное пиксельное визуальное понимание и рассуждение, поддерживает детальный анализ с увеличением и продвигает визуальные языковые модели.

MIT

IndexTTS выпускает версию 1.5 со значительно улучшенной стабильностью модели и производительностью английского языка, поддерживая исправление произношения пиньинь и управляемые пунктуацией паузы, превосходя основные TTS системы в множественных тестах

Open-Weights

StepFun выпускает структуру Step1X-3D с открытым исходным кодом, которая генерирует высококачественную 3D-геометрию и текстуры из одиночных изображений, включая 2M высококачественный набор данных, полный код обучения и веса модели

Open-Weights

ByteDance выпускает BAGEL, мультимодальную базовую модель с открытым исходным кодом с 7B активными параметрами, поддерживающую понимание и генерацию текста, изображений и видео, и достигающую сильных результатов на публичных бенчмарках.

Open-Weights

После недавних обновлений ComfyUI некоторые пользовательские узлы могут вызывать проблемы с фронтендом. Эта статья суммирует затронутые плагины и решения, рекомендуя своевременные обновления или удаление соответствующих плагинов.

Open-Weights

Команда Step1X-3D выпустила решение генерации высококачественных 3D-активов, сделав модели, наборы данных и код открытым исходным кодом, поддерживая различные задачи генерации 3D-активов и текстур.

Open-Weights

Tencent представляет HunyuanCustom, мультимодальный фреймворк кастомизации видео, который поддерживает текстовые, изображения, аудио и видео условия, обеспечивая высокосогласованную генерацию видео в множественных сценариях

Open-Weights

Insert Anything - это унифицированный фреймворк с открытым исходным кодом, который может бесшовно вставлять элементы, такие как люди, объекты и одежда из референсных изображений в целевые сцены, поддерживая различные сценарии применения

Open-Weights

FlexiAct, совместно разработанный Университетом Цинхуа и Tencent ARC Lab, может переносить действия из референсного видео на любое целевое изображение, сохраняя согласованность идентичности

Open-Weights

Step1X-Edit - это мощный фреймворк редактирования изображений с открытым исходным кодом, который поддерживает редактирование изображений через инструкции на естественном языке, предлагая возможности, подобные GPT-4o и Gemini2 Flash。

Open-Weights

Flex.2-preview - это модель диффузии текст-в-изображение с открытым исходным кодом с универсальным контролем и встроенными возможностями инпейнтинга, предоставляющая создателям более мощные инструменты генерации изображений

Open-Weights