ComfyUI v0.45.0 удваивает скорость генерации текста Qwen3.x
ComfyUI v0.45.0 переписывает генерацию текста Qwen3.x: Qwen3.5 9B на RTX 5090 ускоряется с 106 до 219 токенов в секунду благодаря адаптивному tree MTP и вниманию INT8.
Улучшение промптов, подписи к изображениям и написание историй в ComfyUI: всё это генерация текста, поэтому ускорение достаётся им бесплатно. Настроить нужно только параметр mtp ноды Generate Text, который по умолчанию остаётся на auto.
Из инженерного поста Comfy-Org, анонсирующего переписывание.
Измеренная скорость токенов
| Чекпойнт | GPU | ДО | v0.45.0 |
|---|---|---|---|
| Qwen3.5 9B | RTX 5090 | 106 tok/s | 219 tok/s |
| Qwen3.5 9B | RTX 5080 | 91 tok/s | 129 tok/s |
| Qwen3.8 27B, описание изображения 1536×1536 | RTX 5090 | 55 tok/s | 122 tok/s |
Qwen3.8 27B W4A8 достиг 137 токенов в секунду на RTX 5090, описывая изображение 1500×1500 и сочиняя историю.
Что изменилось
- Матрично-векторное ядро: веса W4A8 и W6A8 теперь чередуются со своими групповыми масштабами в том порядке, в котором их читает ядро, поэтому каждый блок потоков считывает один непрерывный участок вместо переключения между двумя тензорами. Перекомпоновка выполняется один раз при загрузке модели, в VRAM, без дополнительных затрат RAM или VRAM.
- Адаптивный tree MTP: голова multi-token-prediction больше не строит одну цепочку догадок. Она сохраняет альтернативные токены как соседние ветви, проверяет до восьми строк за один проход и заново планирует форму дерева каждые 32 шага. Код, списки и промпты, повторно используемые в выходе, выигрывают от глубины; креативное письмо выигрывает от ширины.
- Внимание Comfy-Kitchen: внимание INT8 и поддержка кэша KV для пути внимания LLM, что снижает расход VRAM на кэш KV и ускоряет prefill на длинных промптах и системных промптах.
Цепочный MTP строит один путь; tree MTP сохраняет альтернативные токены как соседние ветви и проверяет их вместе.
Как это включить
- Обновите ComfyUI до v0.45.0 или новее.
- Загрузите чекпойнт Qwen3.x и запустите его через ноду
Generate Text. - Оставьте
mtpнаauto. Закреплённые значения от2до5по-прежнему фиксируют глубину черновика, а режимыtree*фиксируют и ширину, и глубину. - Опционально: запустите ComfyUI с
--use-ck-attentionдля внимания Comfy-Kitchen. Для этого нужна сборка Comfy Kitchen, включающая поддержку внимания.
Всё перечисленное работает на GPU NVIDIA и AMD, в Windows и Linux, а более длинные контексты, которые раньше не помещались в память, теперь вписываются. Одна деталь из подсказки ноды: выход MTP остаётся корректно распределённым, но отличается от выхода без MTP при том же seed.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.