ComfyUI SPEED ahora acelera modelos de imagen, no solo MiniMax H3

Misma semilla y mismo prompt, clip de 5 segundos a 960x544 en una Modal L40S. Izquierda: muestreo simple, 288s. Derecha: SPEED con tolerancia 0.05 y 4 etapas, 182s.

Qué hace el paquete

SPEED proviene de Spectral Progressive Diffusion for Efficient Image and Video Generation de Howard Xiao, Brian Chao, Lior Yariv y Gordon Wetzstein en Stanford. La observación en la que se basa: los modelos de difusión construyen las imágenes aproximadamente de frecuencias bajas a altas, así que los primeros pasos de eliminación de ruido están dominados por bandas que el modelo todavía no ha resuelto. Ejecutar esos pasos a resolución completa gasta la mayor parte del cómputo en ruido.

El paquete aplica eso a ComfyUI sin reentrenar. Una ejecución comienza en una cuadrícula más pequeña y luego escala el latente a una cuadrícula mayor a medida que el detalle empieza a importar. stages elige la escalera: 2 etapas van de 0.5 a 1.0, 3 etapas van de 0.33 a 0.66 a 1.0, y 4 etapas van de 0.25 a 0.5 a 0.75 a 1.0. Tolerance (Delta), noise_amplitude y noise_decay_exponent deciden en qué paso ocurre cada cambio, y una tolerancia menor cambia más tarde: más seguro, pero más lento.

MiniMax H3 mantiene su flujo de audio a resolución completa sin importar en qué etapa esté el flujo de vídeo.

Qué cambió con el cambio de nombre

El repositorio ahora es StanLukuvka/ComfyUI-SPEED en lugar de StanLukuvka/ComfyUI-MiniMax-H3-SPEED, y el registro de cambios agrupa estos puntos bajo la versión 2.0.0. Cuando el paquete todavía era solo para H3, este sitio cubrió su conjunto de muestreadores V2.

• Seis nodos en dos familias. SPEED KSampler, SPEED KSampler (Manual) y SPEED KSampler Sigma Harvest reciben model, acondicionamiento y un latent_image como el propio KSampler de ComfyUI, y construyen internamente el ruido, la guía, el muestreador y la programación de sigmas. La familia Advanced conserva el cableado de SamplerCustomAdvanced para MiniMax H3.
• Modelos de imagen flow. MOSS Image y Krea 2 se ejecutan a través de los nodos KSampler. El paquete rechaza los modelos que no son flow, como los checkpoints EPS o de v-prediction, con un error, tanto en los muestreadores como en Harvest.
• Imagen a imagen. denoise funciona como en KSampler: la primera etapa parte de la imagen codificada reducida al tamaño de esa etapa, y Automático omite las etapas gruesas que la programación acortada ya ha superado.
• Latentes de referencia en modelos de edición. Los modelos de edición que aceptan reference_latents, como Flux 3 Klein, antes solo veían la esquina superior izquierda de la referencia en una etapa gruesa. Los nodos KSampler ahora escalan los latentes de referencia con cada etapa y los restauran para la última.
• Sin valores predeterminados predefinidos. noise_amplitude y noise_decay_exponent ahora empiezan en 0 y se detienen con un error hasta que se ejecute una calibración Harvest. Para H3 base con Euler, el README indica valores de referencia de 35.4213 y 1.0126.
• Nodos renombrados. Los ID MiniMaxH3* anteriores siguen registrados como subclases obsoletas, así que los flujos de trabajo guardados todavía se cargan y se pueden sustituir nodo a nodo.

Sigma Harvest es donde ocurre la calibración por modelo. Ejecuta el muestreador y la programación una vez a resolución completa, sin la cadena SPEED, mide cómo cae la potencia del residuo con la frecuencia y ajusta P(ω) = A·|ω|^-β. Después, Automático calcula cada límite de etapa a partir de ese ajuste, y Harvest informa de r² y de una etiqueta health (good con r² 0.7 o superior, fair con 0.4, y luego weak, suspect e invalid) para que sepas si vale la pena confiar en el ajuste.

Aceleraciones medidas

La nueva evidencia de H3 sustituye el clip anterior de 10 segundos por un vertido de latte art de 5 segundos a 960x544, ejecutado en una Modal L40S con una calibración Harvest (A 35.4213, β 1.0126). El muestreo simple tardó 288s en la sesión con tolerancia 0.01 y 0.05, y 276s en la sesión con 0.005, y cada aceleración se mide respecto a su propia sesión.

La misma pareja reproducida en paralelo: a la izquierda el muestreo simple, a la derecha SPEED con tolerancia 0.05 y 4 etapas.

El autor informa que ninguno de los diez clips de H3 tiene un destello de color, y que el vertido, el latte art y el lettering sobreviven en todas las ejecuciones. Eso es inferior al 2.41x que el mismo repositorio reportó para su clip anterior de H3 en una RTX 5080, así que conviene tratar el multiplicador como una propiedad del clip, la GPU y la calibración, y no del método.

Las imágenes fijas son ejecuciones mucho más cortas, y las cifras son menores:

MOSS Image a 1344x768, misma semilla y mismo prompt. Izquierda: nativo, 22s. Derecha: SPEED de 3 etapas, 18s.

Krea 2 a 1216x832, 52 pasos. Izquierda: nativo, 283s. Derecha: SPEED de 3 etapas, 215s. El autor señala que las filas de Krea 2 son ejecuciones únicas en una tarjeta de 8 GB ejecutando un modelo de 13 GB, así que varían en decenas de segundos.

Con una tolerancia de 0.005, el límite obtenido cae dentro de los primeros pasos de una programación de imagen, lo que casi no ahorra nada, así que los flujos de trabajo de imagen usan 0.05.

Composición frente a velocidad

noise_policy decide de dónde viene el detalle de alta frecuencia adicional en cada cambio. coupled_full_grid reutiliza el campo de ruido que usaría una ejecución simple de SamplerCustomAdvanced, así que la misma semilla mantiene la misma composición, y en los clips de H3 solo ahorró entre un 5 y un 10 por ciento. direct_coarse genera su propio relleno: cambia la imagen con una semilla dada, y ahorró entre un 15 y un 30 por ciento en los mismos clips.

Flujos de trabajo

El repositorio incluye tres gráficos de ejemplo, cada uno con nodos Harvest, Automático y Manual sobre un mismo conjunto de cargadores y solo Automático activo.

El gráfico de H3 ejecuta los nodos Advanced con Euler, programación simple a 20 pasos, 3 etapas y tolerancia 0.005. Los dos gráficos de imagen ejecutan los nodos KSampler con Euler a 20 pasos para MOSS Image y 52 pasos para Krea 2, 3 etapas y tolerancia 0.05.

Límites

• Solo se aceptan modelos de imagen flow (CONST), tanto en los muestreadores como en Harvest.
• noise_mask y la eliminación de ruido con máscara no son compatibles.
• En los nodos Advanced, el latent_image debe empezar vacío; la imagen a vídeo llega a través del acondicionamiento por fotogramas clave de H3, que el paquete redimensiona y restaura por sí mismo.
• Cada etapa es su propia llamada al muestreador, así que los muestreadores de varios pasos reinician su historial en cada cambio de resolución. Da a cada etapa al menos 2 pasos.
• Algunos muestreadores todavía se comportan mal en H3: dpm_fast y dpm_adaptive nunca terminan de eliminar el ruido, y uni_pc se rompe cuando una etapa recibe un solo paso.

Disponibilidad

• Paquete de nodos: StanLukuvka/ComfyUI-SPEED
• Artículo: Spectral Progressive Diffusion
• Flujos de trabajo: workflows/
• Evidencia y clips originales: evidence/

El repositorio había reunido 110 estrellas cuando se escribió esto. El anuncio se publicó en r/StableDiffusion; no se había publicado ninguna reproducción independiente de las cifras de los modelos de imagen en el momento de escribir esto.