MiniMax H3 ORB360：360 度相机环绕与 CardSpin LoRA

ComfyUI Wikinews

MATLOW 的 ORB360 LoRA 能让 MiniMax H3 Ref2VA 围绕静止主体完成一整圈顺时针 360 度相机环绕，另有一个 CardSpin 变体可将照片本身在空间中旋转。

MiniMax-H3-ORB360-CardSpin 是 MATLOW 为 MiniMax H3 Ref2VA 打造的一组 rank-32 LoRA。ORB360_CW 让相机围绕一个始终静止不动的主体完成一整圈顺时针环绕，而 CardSpin 系列文件则把引用照片本身当作一张薄薄的实体卡片在空间中旋转。首批文件于 9 月 28 日发布，随后在 9 月 30 日又推出了更高分辨率的 step-1500 环绕以及第二版 CardSpin。
使用 MiniMax H3 ORB360 LoRA 由单张照片渲染出的单圈 360 度环绕

在雪景中绕猫完成一整圈，由一张引用照片生成。来源：MiniMax-H3-ORB360-CardSpin。

这些 LoRA 能做什么

MiniMax H3 的参考生视频会把输入图片当作外观引用，这足以表现姿势或造型，却不足以实现相机运动。ORB360 则反过来教会模型真实环绕的几何规律：一圈、一个方向、一个固定的主体，以及一台始终保持可信距离和高度的相机。场景的其余部分则停留在照片所设定的位置。

step-1500 环绕，1024 x 768，124 帧，20 步，种子 20260926。

CardSpin 从同一个环绕 LoRA 出发，在单个已生成的视频片段上追加了 50 步训练。结果不再环绕照片中的人物，而是把照片当作一个扁平对象来旋转，看上去就像一张悬在空间中的冲印照片或卡片。

CardSpin v2，使用同一张照片和种子，配合卡片旋转提示词。

该使用哪个文件

文件说明用途
minimax_h3_orb360_step1500.safetensors环绕 LoRA，在高分辨率 Blender 渲染图上训练 1500 步，相机高度覆盖由下到上，使用一到四张带标注的引用图片干净的 360 度环绕，三款中最锐利
minimax_h3_orb360_cardspin_v2_step50.safetensorsstep 1500 再加 50 步卡片旋转卡片旋转，以高分辨率环绕为起点
minimax_h3_orb360_cardspin_step50.safetensorsCardSpin v1，基于较早的 750 步环绕原始卡片旋转版本

下面这段视频片段是催生 CardSpin 的一次意外。当时 MATLOW 用真实照片、而不是训练时所用的灰色背景渲染图来测试环绕 LoRA，他输入了 Julia Margaret Cameron 于 1867 年拍摄的约翰·赫歇尔爵士肖像，模型却认定要旋转的对象是这张照片，而不是照片中的人。

在 19 世纪肖像上使用 750 步环绕 LoRA。来源：MiniMax-H3-ORB360-CardSpin。

仅用那一个视频片段的描述文本训练 50 步，就把这一效果迁移到了训练从未见过的照片上。高分辨率训练阶段的重要性比看上去更高：与 750 步版本相比，step-1500 环绕的精细细节大约翻倍，而 50 步卡片旋转会软化它所触及的一切，因此当你想要干净的环绕效果时，CardSpin 并不是该选的文件。

白猫 360，相同照片、提示词、种子和长度环绕 step 750CardSpin v1ORB360 step 1500CardSpin v2
精细细节（拉普拉斯方差）30.219.856.120.7
细节相对 step 15000.54x0.34x1.00x0.35x
边缘能量（Tenengrad）10988091343841
首帧与照片对比，PSNR / SSIM28.0 dB / 0.8724.5 dB / 0.8528.5 dB / 0.8722.5 dB / 0.77
四个环绕 LoRA 相同帧的原生像素裁剪对比

相同帧的原生像素裁剪图，每列对应一个 LoRA。来源：MiniMax-H3-ORB360-CardSpin。

step-1500 环绕的表现如何

作者在三个从未用于训练渲染的对象上测试了 step 1500，每个对象一个种子，并与真实环绕的 Blender 渲染图进行对比。

测试结果
20 度环绕，三个视角（0/120/240）每一帧与真实环绕的差距都在一帧（2.9 度）以内
从下方环绕（低于中心 30 度和 10 度，无地面）124 帧中有 118 到 124 帧高度正确，完成一整圈干净的环绕
照片拍摄于 45 度，要求 5 度环绕三个对象均为低角度环绕，多数帧与目标相差 5 到 10 度
由单张正面照片生成高角度环绕（45 度）高角度环绕，多数帧为 30 到 45 度，未见过的侧面由模型虚构
照片拍摄于 45 度，要求向下方 30 度环绕失败，会漂回引用照片的高度
视频片段中高度发生变化，例如从上方 45 度到下方 30 度失败，对象会翻滚而不是相机移动

这些数字来自灰色背景渲染图。在真实照片上，环绕目前仍停留在引用照片的高度，作者将其列为主要待解决问题。

在 ComfyUI 中使用这些 LoRA

两个文件都使用标准的 Lora Loader 节点、以仅模型（model-only）模式、强度 1.0 加载，作用于 MiniMax H3 Ref2VA 模型。它们是 kohya 风格的 LoRA，包含 lora_unet_*、lora_down、lora_up 和 alpha 键，全部 200 个模块都能映射到 ComfyUI 已加载的 MiniMax H3 权重上。

  • 将引用图片输入到 Ref2VA 条件中。只提供一张引用时，模型会将其视为环绕的首帧和末帧。
  • 将视频片段保持在 124 帧、24 fps。仓库中的提示词带有诸如“at 1.708333 seconds (zero-based frame 41), 120 degrees”这样的时间码，它们都以该长度为前提。
  • 随权重共发布了四个提示词：一个保留照片自身环境的单图环绕，一个用于正面、120 度和 240 度视角的三引用变体，以及 step-1500 训练所用的两种精确描述格式，均取自留出（held-out）测试。
  • 实测可用的分辨率包括横屏的 800 x 800、1024 x 768 和 1152 x 768，以及竖屏的 672 x 832 和 832 x 1024。
  • 这些描述文本遵循 MiniMax 的 Ref2VA 提示词结构，并将两个音频部分都设为 N/A，即要求静音。若不这样设置，H3 往往会自行编造配乐。

训练

两个阶段都使用 musubi-tuner 训练：rank 32、alpha 32、AdamW，恒定学习率 1e-4，bf16 混合精度，仅对视频计算损失，在单块 NVIDIA RTX PRO 6000 上进行。step-1500 环绕使用了 23 个在 Blender 中渲染的资产，构成 345 段三种长度的一圈顺时针环绕，每个视频片段都以不同的引用图片出现在三行训练数据中，共 960 行、1500 步，耗时约 26 小时。

局限

  • 高度控制在灰色背景渲染图上有效，但在真实照片上尚不适用。
  • 在视频片段中改变高度的环绕会失败，主体会翻滚。
  • CardSpin 的输出明显比它所衍生的 step-1500 环绕更柔和。
  • 示例描述文本中的高度、时间和角度描述的是仓库中的测试对象，用于其他主体时需要修改。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…