01 / 创作的起点
Introduction
早期在电视台参与项目制作时，我接触到实拍与数字场景结合的创作方式。创意与真人表演已经成立，把素材推进到想象中的成片，仍需要置景、摄影、视效与后期的共同投入。这段制作经历，是我持续关注制作技术迭代、探索 AI 与实拍结合的起点。
河南卫视《唐宫夜宴》是这一方向的行业参照。真人舞蹈、唐俑造型与数字场景相结合，让传统文化通过人物、动作和环境获得鲜活的表达。它所引发的关注，也体现了审美、文化与制作技术结合所带来的传播价值。
如今，视频模型的编辑能力为这类创作增加了新的路径。在我收集的 Omni 演示中，同一段素材的环境、人物外观和手中物件可以被分别修改，创作者得以从已拍画面继续制作。复杂画面的实现方式，正在增加由 AI 参与生成与编辑的选择。
本方案由此关注实拍与 AI 的结合：以真实表演为基础，保留这次拍摄中的动作、节奏与情绪，用 AI 延展场景、光影与视觉效果。不同创作者拥有不同的制作条件，也会对这条路径提出不同的要求。
02 / 用户与使用场景
Personas
以下沿用三位典型人物，分别展开他们的创作情境、目标与行为。人物称呼为虚构，画像基于现有场景形成，尚待实际访谈验证。
原创表演自媒体创作者
| 身份／创作情境 | 亲自编排舞蹈、创作或演唱歌曲并出镜，自己承担主要拍摄与剪辑；既做日常短视频，也制作更完整的原创作品。 |
|---|---|
| 具体任务目标 | 发布能呈现独创动作、表情与音乐情绪的作品；日常用有趣特效、转场丰富表达，重要作品希望进入雪山或虚拟舞台。 |
| 行为习惯／工作方式 | 先完成表演、挑选满意的一次拍摄，再找画面参考、尝试效果和剪辑；偏向从直观示例开始，通过预览决定继续改哪里。 |
| 动机和心理期待 | 希望观众记住自己的创作与表演；愿意尝试新效果，也希望自己能掌握画面方向，修改时不丢掉已经满意的部分。 |
| 阻碍／痛点 | 难以承担虚拟影棚与完整视效制作；会描述氛围，却不擅长判断透视、光线与人物边缘；生成若误改独创动作，就失去这次拍摄的价值。 |
| 决策标准 | 本人的动作、节奏与表情得到保留；人和环境自然结合；上手与修改负担可接受，尝试费用能够控制。 |
小工作室导演兼后期
| 身份／创作情境 | 在小工作室组织短片或广告制作，兼顾导演、剪辑及部分后期；需要把少量成员的技能组合成一部完整作品。 |
|---|---|
| 具体任务目标 | 在有限预算与交付时间内，补齐场景延伸、虚拟环境和特效镜头，弥补团队的技术差距，并让这些镜头接入叙事。 |
| 行为习惯／工作方式 | 围绕剧本、分镜拆解镜头，先试难点，再决定拍摄和后期做法；一人跨多项工作，边查资料边试做，并与成员反复对照前后镜头。 |
| 动机和心理期待 | 希望创作不因缺少某项视效技能被迫缩水；期待自己能理解并掌握制作过程，向团队说明修改原因，逐步积累可复用经验。 |
| 阻碍／痛点 | 缺少完整三维、美术和合成人手；学习、试错与返修挤占进度；单镜头可能好看，接入前后镜头后却出现光线、空间或风格差异。 |
| 决策标准 | 镜头服务叙事并能完成交付；效果可修改、版本可辨认；学习与返工成本可承受，结果能继续进入剪辑和合成。 |
成熟影视公司视效负责人
| 身份／创作情境 | 在成熟影视公司负责镜头视效方案、任务分工与质量把关，与导演、摄影、制片、合成及调色人员协作。 |
|---|---|
| 具体任务目标 | 按项目标准交付局部清理、场景延伸与光色调整等任务；降低重复工序的工时和费用，将结果顺畅接入现有制作管线。 |
| 行为习惯／工作方式 | 按镜头清单和规范拆分任务，审看小样再进入正式制作；检查中间结果、版本与修改记录，在导演反馈和各工种交接之间安排返修。 |
| 动机和心理期待 | 希望把熟练人员的时间留给关键创作与复杂判断，同时能向导演和制片解释质量、进度与费用；对可控制、可追溯的处理过程更有信心。 |
| 阻碍／痛点 | 重复清理、遮罩修补与光色试版占用熟练人员；新工具若缺少局部控制、版本记录或交接条件，节省的单步时间可能被接管线与返工抵消。 |
| 决策标准 | 画面满足项目标准，改动范围和素材使用边界明确；保留所需中间结果与记录；能接既有管线，并在完整制作环节中减少重复工作及费用。 |
User Journey Analysis
以阿禾把原创舞蹈放进雪山环境为例，使用即梦等创作工具时，一条常见的制作路径是：
- 01打开创作工具（上传要编辑的原视频）
- 02制作氛围图（用图像编辑工具确定目标）
- 03组合输入（原视频＋目标参考图）
- 04写提示词（描述场景和保留要求）
- 05视频编辑（调用 Seedance 等模型）
- 06预览与修改（检查效果，再调整）
这条路径要求用户自己准备参考、组织提示词，并判断人物与场景是否匹配。切换工具只是其中一部分成本；更难的是画面不自然时，用户往往不知道该改参考、光线，还是人物边缘。
03 / 实拍 AI 效果模块
Product tools
在创作工具中加入一个实拍＋AI 专业效果模块：以已经拍到的表演为起点，让用户修改环境、光线和指定区域，继续完成这个镜头。下面用画面对照说明模块承接的制作任务。
VFX制作
用户上传原片，指定需要保留的人物与道具，再选择环境方向。Agent 根据原机位、人物位置与运动设计目标参考，并组织场景处理；用户可以先确认一张画面的方向，再预览整段变化。
影调替换
“把这段舞蹈变成暖色夜景”同时涉及光源方向、反差、肤色和环境亮度。灯光影调 Agent 将这些判断转成参考与处理参数。用户可以选择保持原人物外观、让背景适配，也可以允许人物重打光；两种处理范围分别确认。
定向编辑
换服装、清理穿帮或移除路人，都从明确编辑范围开始。模块提供遮罩与保留区；确认的区域作为后续修改的边界，避免用户为了局部问题反复重做整个镜头。
QC
进入视频后，单帧好看还不够。预览需要连续回放，检查新背景的运动、人物边缘和快速动作。用户指出问题发生的位置，Agent 将返修交给对应工具，并沿用已确认的场景与版本。
无损超分及影视级高质量交付
从人物分离、场景编辑，到光线匹配、画面合成与超分，将原本需要在多个工具之间衔接的步骤收进同一条工作流。用户围绕最终画面提出要求，Agent 负责调用各项能力、衔接中间素材，并组织成片交付。
- 01实拍素材（读取镜头与保留要求）
- 02AI 编辑（场景、外观与光线）
- 03合成修整（人物边缘与画面连续性）
- 04超分与精修（细节增强至 4K）
- 05影视交付（色彩管理 · 10-bit 编码）
超分直接融入整体流程，完成细节增强与 4K 画面整理后，再进入色彩管理和 10-bit 编码输出。分辨率、位深、帧率与文件格式由交付预设统一管理，让成片能够继续进入剪辑、调色和影视后期制作。
04 / 专业判断如何被调用
Agent & RAG
主 Agent 承接用户的创作意图，把“我想要什么”拆成专业任务。五个 Sub Agent 分别处理人物、场景、灯光、合成和质量；各自调用相应知识卡与工具，并将中间结果留在同一项目中。
知识库怎样参与一次具体修改
以刚才的舞蹈光色调整为例，用户只需说“保留这段舞，换成暖色夜景”。主 Agent 先明确动作与表演的保留要求，再让灯光影调 Agent 处理照明关系，让合成制作 Agent 检查人物与环境的衔接。
| 知识卡 | 在这个镜头里具体做什么 |
|---|---|
| 表演保留 | 记录动作、表情、节奏和原声的保留要求；优先分离原人物并沿用时间基准，检查新环境是否与人物位置对齐。 |
| 空间与接地 | 对照地平线、机位高度、人物尺度和脚底位置；先修正目标图的空间关系，再组织接触阴影与遮挡。 |
| 灯光与影调 | 判断冷白照明如何转为暖色夜景：主光来自哪里，环境光怎样影响肤色与衣服，背景亮度如何衬托人物。先确定是否允许人物重打光，再分别安排参考设计、光色处理与合成。 |
| 边缘与连续性 | 区分发丝被截断、背景漏出和颜色溢出；分别交给遮罩修整、去溢色或合成处理，并回看动作中的连续变化。 |
一张知识卡包含适用情形、检查依据、处理动作、输出要求和验收方式。例如“头发有绿边”不能只翻译为“让画面更自然”：素材保护 Agent 应先区分遮罩问题与颜色溢出，再指定修边或去溢色；合成制作 Agent 复用已经认可的环境，质检 Agent 检查修订后的边缘。
VLM 可辅助理解画面、定位问题和形成任务描述；图像／视频模型负责生成或编辑，ComfyUI 节点负责具体处理。人物保留也要区分动作与几何保留、原始像素保留：调色和重打光会改变像素，生成式重打光还需检查形状与身份是否漂移。
05 / 从素材理解到镜头设计
VLM
独自拍摄时，一个人很难同时完成表演、机位切换和细节补拍。我从这类实拍＋AI应用中看到的机会是：先把真实内容完整地拍下来，再通过素材理解与镜头设计，补足一个人拍摄时缺少的镜头覆盖。基于这一发现，我希望在实拍 AI 模块中加入“智能镜头设计”：用户上传固定机位视频，说清楚要讲什么，Agent 将素材组织成有重点、有节奏的多镜头 Vlog。
用户记录内容，Agent 组织镜头
以制作柠檬水为例，用户上传一段连续拍摄的视频，告诉 Agent：“剪成一条轻快的 Vlog，保留我的动作和原声，突出切柠檬、挤汁的细节。”产品先返回一张可修改的镜头表，标出每个镜头取自哪段原片、承担什么表达目的，以及采用原片处理还是生成补充视角。用户可以直接说“这段多停留一会”“保留我的表情”或“不要新增角度”，继续修改对应镜头。
从看懂素材，到作出镜头选择
VLM（视觉语言模型）先读取带时间信息的画面，识别人、道具、动作和关键时刻，形成可回到原片核对的事件表；原声或转写与画面按时间对齐。快速动作、遮挡和判断不清的片段进入局部复看，避免把粗略描述直接当作准确剪辑点。
镜头规划 Sub Agent 再调用影视知识库：用景别分配观看重点，用动作匹配和轴线规则组织切换，用节奏规则决定哪里停留、哪里压缩。知识库参与的是“为什么在这里切到这个镜头”的判断，并把结果写成包含原片时间段、目标时长和执行方式的镜头计划。
| 原片中的内容 | 镜头想表达什么 | 执行安排 |
|---|---|---|
| 人物与桌面准备 | 先交代人物、环境与接下来要做的事 | 保留原片中景，建立后续特写的空间依据。 |
| 抛起柠檬 | 突出动作的轻快感与人物状态 | 优先在原片上裁切或推近；检查主体是否出框，保留动作起落与节奏。 |
| 切柠檬、挤汁 | 让观众看清制作步骤与细节 | 原画面清晰时裁切特写；确需俯拍或侧面补充视角时，生成对应插入镜头，再核对手部、道具与动作衔接。 |
| 完成与展示 | 把过程收束到结果和人物反应 | 回到原片展示镜头，保持物品状态与原声连续。 |
执行入口提供两个明确选择：严格保留原表演时，仅使用原片剪辑、裁切和稳定处理；允许生成补充镜头时，才调用视频模型扩展新的视角。生成镜头在时间线上单独标记。检查发现人物变化、手部错误或动作接不上时，只调整这个镜头，或回退使用原片。
最后由剪辑 Sub Agent 组织镜头与原声，检查动作是否重复或遗漏、时间顺序是否改变、声画是否同步，再接入前文的色彩整理、超分与交付流程。用户获得成片，同时保留可继续修改的镜头计划和时间线。
从一个可用功能，逐步扩展到片场
| 阶段 | 产品范围与交付 | 推进依据 |
|---|---|---|
| 首版：单机位完整成片 | 聚焦单人物、单机位，贯通素材理解、镜头计划、原片剪辑、少量补充视角生成和原声合成。 | 能按创作意图完成一条片子，生成镜头与原片衔接可用，用户可单独修改一个镜头。 |
| 扩展：覆盖更多表达 | 补充教程、产品展示与生活记录对应的镜头规则；丰富补充视角，支持保存镜头偏好和单镜头重做。 | 不同内容获得合适的景别与节奏，新增角度服务表达，人物、动作和道具保持连贯。 |
| 后续：接入拍摄现场 | 拍摄完成后分析已有镜头覆盖，提示还缺哪些细节或反应镜头；可现场补拍，也可选择 AI 扩展。 | 镜头计划能同时指导现场拍摄和后期处理，减少往返调整。 |
这一模块把我在拍摄与剪辑中积累的判断，转成普通创作者可以直接调用的产品能力：先理解他拍到了什么、希望观众看到什么，再决定如何使用实拍、哪里需要 AI。实拍提供内容和表演，Agent 帮助它形成完整的镜头表达。
06 / 原子能力与工作流
ComfyUI workflow
这组画面将处理关系直接展开：原视频提供表演与镜头运动，遮罩明确人物范围，编辑结果延展环境与视觉效果。目标参考与自然语言描述补充“要改成什么样”，由 Agent 组织成工具所需的输入。
保留原人物时，先将原人物与 Alpha 分离；环境处理完成后，再按同一时间基准合回原人物。如果用户需要改变人物的光线或外观，则另行确认可编辑区域。原始像素保留与人物重打光是不同的处理选择，不能把二者混为同一个保证。
Tapnow等创作平台，一般把深度视频等作为skill开放使用。
把处理步骤拆成 Agent 可调用的工具
- 01读取素材（帧序列、帧率与原声）
- 02分离主体（人物与 Alpha）
- 03组织编辑（遮罩、参考与文本）
- 04处理环境（生成候选，检查对齐与人物残影）
- 05合成输出（边缘、光色与时序检查）
初版采用 Wan 2.2 图生视频路线，以固定机位和绿幕素材为示例：目标场景图生成环境序列，原视频中的人物通过独立抠像分支合回；随后接入模型超分、4K 尺寸整理和 10-bit 编码输出。素材读取、人物保护、环境生成、合成和交付分别封装，主 Agent 按任务调用这些原子能力。深度、姿态与运动跟踪作为另外的控制能力，按镜头和所接模型选择相应路线。
07 / 从后期走向拍摄现场
Hardware
现场拍摄与 AI 制作已经具备衔接为一套流程的技术条件。摄影机画面经无线图传接收器或 SDI／HDMI 采集设备进入工作站，多机位素材统一归档后，再通过 API 交给 Agent 处理。不同设备的信号和控制接口由接入层适配，使现场素材能够进入前面设计的制作流程。
在这套设计中，Agent 沿用同一套影视知识库与抠像、跟踪、场景生成、光色匹配等能力，处理选定片段并把预览回传监视器。导演据此调整灯光、道具和走位，后期沿用原片、处理结果与反馈继续精修。底层能力保持一致，素材入口则从手动上传延伸到现场接入。
- 01现场拍摄
- 02无线图传／信号采集
- 03工作站与 API 接入
- 04Agent 制作
- 05现场预览／后期交付
08 / 持续服务日常创作
Conclusion
这段演示把机械臂拍摄、AI 生成与剪辑放在同一条创作线上，也给实拍＋AI 提供了一个更远的想象：自动化可以从软件里的素材处理，逐步走向真实的拍摄现场。
DaVinci Resolve 21.1 已支持 Codex 等 AI 助手参与剪辑与输出。再往前看，AI 有机会通过设备接口调度相机与 MOCO，配合机器人完成可重复的动作，再把实拍接入图像生成、AI 特效、剪辑、调色与音乐工具。真实的运动、光照和物理交互，可以为生成提供更可靠的依据，减少一部分模型的不确定性，让更高质量的自动化创作同时发生在物理现场与数字空间。
接下来的重点，是把这些功能继续开发成顺手、可控的日常创作工具：用户表达想法，Agent 组织制作，创作者把更多精力留给内容本身。