Krea 2 Anygles:ComfyUI 相机视角控制 LoRA

ComfyUI Wikinews

Krea 2 Anygles 借助 3D 人体法线 LoRA,把单张人物照片转换为全新的相机视图,并提供 ComfyUI 节点与工作流,实现环绕、仰角和距离控制。

krea2-anygles 是一个用于 Krea 2 Turbo 的空间控制 LoRA,可在保持人物、姿态、服装、风格和场景不变的前提下改变单个主体人物的相机视角。它自带原生的 ComfyUI 节点和现成工作流。

把相机对准一个人物,然后移动它:水平环绕、仰角和距离控制全都来自同一个适配器。Anygles 从来源图像中恢复出 3D 人体网格和与之对齐的法线图,将该网格旋转到目标姿态,并把渲染出的法线作为空间控制输入 Krea 2。原始图像始终作为身份与风格引用,因此模型生成的是一个新的视图,而不是对旧视图的编辑。

来源图像已生成的相机视图
来源图像,单个主体人物同一主体在旋转后的相机位置下的视图

一次水平环绕。每一帧都独立地从原始来源生成,因此各视图之间不会相互串联。

它能控制什么

  • 完整水平环绕:在完整的 360 度旋转中连续改变偏航角。
  • 仰角:在保持身体比例自然的同时,把视点移到主体上方或下方。
  • 距离:从更近的取景拉到更宽的视图。
  • 组合运动:沿一条平滑路径同时改变偏航角、仰角和距离。
  • 独立生成:每个视图都从原始来源图像开始,从而避免把已生成帧回灌给模型时不断累积的漂移。
  • 来源感知取景:输出保持来源的宽高比,并采用 16 像素对齐的尺寸。

开放的控制范围为仰角 -60 到 +60 度、距离 0.6x 到 1.8x,作者称其为界面护栏而非硬性限制。本版本提供的扫描覆盖仰角 -45 到 +45 度、距离 1.35x 到 0.78x。

方位角、仰角和距离沿着同一条闭合相机路径一起变化。

当前版本面向单个清晰的人物主体。它并非为动物、一般物体、人群或完整 3D 场景的精确重建而设计。

与多角度 Qwen 基线的对比

来源仓库中包含一次实用的正面比较:对手是 Qwen-Image-Edit 2511 的多角度 LoRA,采用 4 步 Lightning 调度运行。双方对每一帧生成都独立接收原始来源图像,所有输出都是固定提示词和种子下的首个结果。

Qwen 多角度基线与 Anygles 的 360 度水平环绕对比。

作者指出,这是功能对比,而非相同条件的消融实验,因为 Qwen 基线并未接收 Anygles 所使用的目标法线。

工作原理

  1. 使用 SAM 3D Body 从来源图像中一次性恢复出人体网格。
  2. 将该网格绕骨盆旋转,并在与来源宽高比一致的画布内渲染为对齐的目标法线。
  3. 原始图像仍是 Krea 2 的语义与身份引用。
  4. 目标法线经 VAE 编码后,通过空间 Control-LoRA 投影注入到噪声图像输入处。
  5. 一句简短的相对相机描述承载目标视图语义。内部角度会归一化到训练约定,例如请求向右 50 度会被发送为向左 310 度,而界面仍保留带符号的控制项。

在 ComfyUI 中运行

安装节点:

cd ComfyUI/custom_nodes
git clone https://github.com/alexw5702-afk/krea2-anygles
cd krea2-anygles
pip install -r requirements.txt

接受 SAM 3D Body 许可证并下载人体网格 checkpoint,然后把 LoRA 放到常规文件夹中:

hf download facebook/sam-3d-body-dinov3 --local-dir ComfyUI/models/sam3d_body
文件目标位置
krea2_anygles_rank32.safetensorsComfyUI/models/loras
krea2_turbo_int8_convrot.safetensorsComfyUI/models/diffusion_models
qwen3vl_4b_fp8_scaled.safetensorsComfyUI/models/text_encoders
qwen_image_vae.safetensorsComfyUI/models/vae
sam-3d-body-dinov3ComfyUI/models/sam3d_body

该节点包新增四个节点:

  1. Krea2 Anygles Camera 把来源调整为对齐画布,恢复人体网格,按偏航角、仰角和距离旋转它,渲染目标法线,并组装相机提示词。
  2. Krea2 Anygles Encode 把来源送入 Qwen3-VL 和 Krea 2 的干净引用路径,并编码整张画布的目标法线。
  3. Krea2 Anygles Load LoRA 应用适配器并保留其空间投影,而不是丢弃这个非标准 tensor。
  4. Krea2 Anygles Model Patch 在噪声图像输入处注入对齐的法线 token,并缓存干净的视觉引用 K/V。

模型卡推荐的设置:8 步、Euler、simple 调度器、CFG 1.0、适配器强度 1.0,并启用 VLM 引用和引用 K/V 缓存。SAM 3D Body 与 Krea 2 依次运行,因此两个完整模型无需同时驻留显存。

获取方式

  • LoRA 权重:Hugging Face 上的 yijunwang2/krea2-anygles,单个 rank 32 文件。
  • ComfyUI 节点与工作流:GitHub 上的 alexw5702-afk/krea2-anygles。
  • Demo Space:yijunwang2/krea2-anygles,无需本地安装即可试用该适配器。
  • 可移植 Python 方案:仓库包含 prepare_normal.py 和 example.py,可在 ComfyUI 之外配合 Diffusers pipeline 运行。

这是非官方的社区发布。隐藏的侧面与背景内容属于生成结果,而非从实测几何恢复而来,因此配饰、文字、手指和被遮挡的细节可能发生变化,大幅度的相机移动也可能改变光照或身体比例。人体恢复效果差、严重遮挡、主体过小或画面中有多个人物时,都可能产生错误的法线控制。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Krea 2 Anygles:ComfyUI 相机视角控制 LoRA | ComfyUI Wiki