KJNodes/experimentalgenerated

NABLA Attention KJ(NABLA_AttentionKJ)

Этот узел реализует свою функцию путем переопределения функции вычисления внимания модели, конкретно используя алгоритм разреженного внимания NABLA.

NABLA Attention KJ

model
latent
MODEL
window_time
11
window_width
3
window_height
3
sparsity
0.90
torch_compile
KJNodes

Узел NABLA Attention KJ реализует свою функцию путем переопределения функции вычисления внимания модели, конкретно используя алгоритм разреженного внимания NABLA.

NABLA Attention KJ — это экспериментальный узел для модификации механизма внимания моделей генерации видео. Его основная функция — применение к модели разреженного внимания NABLA, направленное на оптимизацию использования памяти и вычислительной эффективности в процессе генерации видео.

Функция узла

Этот узел работает путем переопределения функции вычисления внимания модели, конкретно используя алгоритм разреженного внимания NABLA. Для работы требуется относительно новая версия PyTorch с поддержкой модуля flex_attention, и в настоящее время он в основном адаптирован для видео-модели Kadinsky5. Его внутренний механизм динамически генерирует маску разреженного внимания на основе предоставленной формы латентного пространства и параметров окна, чтобы ограничить область вычисления внимания.

Описание параметров узла - NABLA Attention KJ

Входные соединения (Inputs)

Название параметраТип данныхОбязательныйЗначение по умолчаниюДиапазон значений/ОпцииОписание
modelMODELДа--Базовая модель, механизм внимания которой необходимо модифицировать. Этот параметр используется для получения стандартной генеративной модели, узел переопределит способ вычисления внимания внутри неё.
latentLATENTДа--Используется только для получения формы латентного пространства

Параметры управления (Parameters)

Название параметраТип данныхОбязательныйЗначение по умолчаниюДиапазон значений/ОпцииОписание
window_timeINTДа11≥ 1Размер временного окна внимания
window_widthINTДа3≥ 1Размер пространственного окна внимания
window_heightINTДа3≥ 1Размер пространственного окна внимания
sparsityFLOATДа0.90.0 - 1.0 (шаг: 0.01)Параметр, контролирующий степень разреженности внимания. Диапазон значений от 0.0 до 1.0 с шагом 0.01. Чем выше значение, тем более разреженным становится внимание, игнорируя больше связей при вычислении.
torch_compileBOOLEANДаTrue-Скорее всего, требуется для разумного использования памяти

Выходные данные (Output)

Название параметраТип данныхОписание
MODELMODELНовая модель с применённым разреженным вниманием NABLA. Эта выходная модель может быть использована в последующих шагах генерации изображений или видео.

Сценарии использования

В рабочем процессе генерации последовательных видео-кадров вы можете вставить этот узел после узла загрузки модели. Регулируя размер временного и пространственного окон, можно контролировать, на сколько предыдущих кадров и на какую область внутри каждого кадра модель обращает внимание при генерации видео, что позволяет снизить вычислительную нагрузку, сохраняя при этом временную согласованность.

Важные замечания

Обратите внимание, что это экспериментальный узел, его стабильность и совместимость могут быть ограничены. Он явно требует относительно новой версии PyTorch и в настоящее время подтверждена работа только с моделью Kadinsky5. Использование с другими моделями может привести к ошибкам или непредсказуемым результатам.

Ссылка на исходный код узла NABLA Attention KJ

Узел NABLA Attention KJ взят из пакета узлов ComfyUI-KJNodes.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…