Descripción
Este nodo fragmenta las activaciones de alimentación hacia adelante dentro del modelo LTXV para reducir el uso máximo de VRAM. ¡EXPERIMENTAL Y PUEDE CAMBIAR LA SALIDA DEL MODELO! Úselo con precaución y verifique los resultados con respecto al modelo sin modificar. Dividir las activaciones en piezas más pequeñas permite procesar resoluciones o secuencias más grandes sin exceder los límites de memoria, pero puede alterar la precisión numérica (especialmente en las rutas de Atención o normalización) y, por lo tanto, afectar la calidad de la salida final.
Entradas
| Entrada | Tipo | Requerido | Por defecto | Rango | Información |
|---|---|---|---|---|---|
model | MODEL | Sí | – | – | El modelo LTXV a modificar. |
chunks | ENTERO | Sí | 2 | [1, 100], paso 1 | Número de fragmentos en los que dividir las activaciones de alimentación hacia adelante para reducir el uso máximo de VRAM. Valores más altos reducen aún más la memoria máxima, pero pueden aumentar el tiempo de ejecución y alterar las salidas. Un valor de 1 desactiva la fragmentación por completo. |
dim_threshold | ENTERO | Sí | 4096 | [0, 16384], paso 256 | Umbral de dimensión por encima del cual se aplica la fragmentación. Solo las capas con un tamaño oculto mayor o igual a este umbral se fragmentarán. Establezca en 0 para fragmentar cada capa (máximo ahorro de memoria, mayor riesgo de cambio en la salida). |
Salidas
| Salida | Tipo | Descripción |
|---|---|---|
model | MODEL | El modelo LTXV modificado con activaciones de alimentación hacia adelante fragmentadas aplicadas según los parámetros dados. |
Notas de uso
- Este nodo está destinado a usuarios avanzados que necesitan Ajustar variantes de modelos LTXV muy grandes o flujos de trabajo de generación de alta resolución en una VRAM limitada.
- Debido a que la fragmentación cambia el orden de las operaciones dentro del bloque de alimentación hacia adelante, los resultados numéricos no son idénticos bit a bit al modelo sin parchear. Siempre pruebe las salidas en indicaciones representativas antes de confiar en la versión fragmentada para producción.
dim_thresholdle permite restringir la fragmentación a las capas más grandes (que más memoria consumen). Para modelos LTXV típicos, establecerdim_thresholden4096fragmenta solo las capas más grandes, equilibrando el ahorro de memoria y la fidelidad de la salida.- Aumentar
chunksmás allá de8–16generalmente produce rendimientos decrecientes en memoria y puede aumentar la sobrecarga;2–8es un rango práctico para la mayoría de los casos de uso. - Si experimenta artefactos inesperados o errores de falta de memoria, intente reducir
chunkso aumentardim_threshold.
Comentarios
Inicia sesión con GitHub para unirte a la conversación.