跳到正文
Kwei 个人主页作品集 project library
跳到正文

AIGC Tech

负责内容创作工作流设计、提示词方法与知识沉淀

项目介绍

AIGC Tech 是我长期更新的创作方法库。每次项目结束,我会和 AI 复盘:哪些判断起了作用,哪些地方反复失败,又学到了什么。把这些经验整理为工作流、Skill 与提示词写作方法,留给下一次创作使用。

架构设计

仓库的更新由创作复盘驱动。我提供创作意图、实际结果与判断,Agent 负责从对话中提炼方法、编写文档和 Skill,并写入仓库。下一次遇到相似问题,Agent 就能沿着已有经验组织步骤;新的难点再回到复盘中,继续修订。

目前的四类 Skill 分别负责技术选路、分步规划、中间处理与提示词写作,配套手册保留方法的适用条件和失败检查。

  1. 工作流:确定镜头怎样生产

    根据人物一致性、机位、空间、交互与时长等约束选择技术路线,再拆分生成步骤和验收点。先保留已通过的结果,失败时回到对应步骤调整。

  2. 提示词:把意图写成可执行的描述

    在制作路线确定后,用运动优先的模板组织参考图、摄影机、主体动作、环境变化和限制条件,让每一步的生成指令具体而一致。

经验如何进入下一次创作

  1. 项目复盘

    目标、结果与失败原因

  2. 方法提炼

    适用条件与可复用步骤

  3. Agent 入库

    编写手册、Skill 与模板

  4. 新任务复用

    引导执行,检查每步结果

新问题与新的解决办法,回到下一次复盘

实践应用

以白模预演转化为真实画面为例,Skill 会先帮助我判断哪些内容必须固定,再安排结构引导、生成与验收。过去项目中踩过的坑,就转化成这一次制作前能看见的检查项。

从白模预演到生产镜头

  1. 锁定白模

    确认机位、构图与空间几何

  2. 结构引导

    按工具选择深度、法线或边缘

  3. 分步生成

    组织背景、人物与交互合成

  4. 验收保留

    检查漂移,只重做失败环节

把这次新增的失败条件与修正方法写回 Skill

提示词工程是另一条长期积累的路径。我把这套模板放进 GPT 提示词项目的项目指令中,用它约束 AI 如何理解和改写我的表达。创作意图先经过语言模型,再交给视频模型;如果一句话存在两种解释,就需要把我想要的那一种写清楚。

模板先区分参考图各自控制什么,再依次明确摄影机运动、主体动作和场景变化。对复杂镜头补充时间段与动作先后,把“感觉要冷”“最后抬头”变成可以逐项检查的画面要求。

同一个镜头,怎样减少表达中的歧义

同一个镜头,怎样减少表达中的歧义:优化前后对照
维度优化前优化后
参考图整体保持类似的街区感觉分别绑定构图、老人和浇水壶,明确不变的空间关系
时间顺序随后变冷,最后镜头向上分为四段时间,指定季节变化与镜头动作的触发点
动作与状态水冻住,老人觉得冷水流变为分离冰柱;先发抖,再抬头,最后上甩
失败限制自然一些,不要太夸张针对位置漂移、冰块形态、提前甩镜等风险逐项约束

原始提示词

优化前
参考图1里的街道、住宅、白色栅栏、树木、花园和向日葵来构建整体场景,画面尽量保持类似的住宅街区感觉和原来的空间氛围,老人参考图2,手里拿着图3里的黄色浇水壶。视频大约5秒,16:9,整体保持写实、自然、有电影感的生活场景,像是手持摄影机在街边偶然记录下来的画面,有一点轻微的晃动和真实摄影的呼吸感。镜头从街道这一侧看向花园和住宅,老人站在向日葵附近给花浇水,动作比较自然,他拿着黄色浇水壶,水落在面前的向日葵附近,周围最开始是比较温暖、正常的天气,植物生长得很好,树木也是有叶子的,整个环境看起来比较平静。镜头在这个过程中可以稍微向前移动,让人物和花园慢慢变得更明显一些。
随后场景突然从原本温暖的季节变成冬天,镜头也在这个变化发生的时候向前推进,让整个变化显得比较突然。周围的颜色开始变冷,树慢慢变成冬天的状态,地面、栅栏、房屋和花园附近出现一些雪,原本正常的向日葵也因为寒冷迅速枯萎下去,颜色变暗,花朵低垂,整个花园一下子失去了原来的生机。老人手里的水也因为天气突然变冷而冻住,浇水壶下面出现一些冰柱,形成一种水正在流动的时候突然被冻住的感觉。这个变化需要明显,但是仍然保持真实世界中的质感,不要看起来像完全不同的场景。
天气突然变冷以后,老人也感觉到了寒冷,他停止浇水,身体开始发抖,有一些缩起身体、觉得很冷的反应,同时看着周围突然变化的环境,显得有点疑惑和没有反应过来。之后他慢慢抬起头,看向天空,像是在确认到底发生了什么。镜头随着他的动作也开始往上走,在最后快速抬向天空,带一点比较明显的手持晃动、运动模糊和突然改变方向的感觉,让结尾显得更有冲击力。整体希望呈现一种很日常、很安静的住宅花园场景,在很短的时间里突然从温暖的夏天进入寒冷的冬天,人物、植物、水和周围环境都受到这个季节变化的影响,最后通过老人抬头和镜头向上移动结束。
不要出现明显的切镜头,街区整体还是参考图1,不要把场景完全换掉,老人保持在花园和向日葵附近,不要让雪变得特别夸张,也不要出现暴风雪或者很强的大风,冰冻效果保持自然一些,人物表演不要太戏剧化,房屋和街道不要发生明显变形,最后镜头再跟着老人往天空方向移动。
优化后
图1 = 场景与构图参考,严格保持这张图的机位高度、透视关系、街道方向、白色栅栏、联排住宅、树木、花坛和向日葵位置不变;图2 = 人物绑定参考,使用这个老人;图3 = 道具绑定参考,使用这个黄色浇水壶。5s,16:9,one shot,写实电影感,明显手持感。camera starts on the same framing as 图1,街边低机位,中远景,镜头从道路一侧看向白色栅栏和住宅前院,整条画面的构图先稳定保持,带清楚但克制的 handheld micro shake、footstep bounce 和轻微 breathing。老人站在画面中部偏右、白色栅栏内侧、那一组向日葵旁边,身体朝向花坛,右手提着图3的黄色浇水壶,左手扶住壶身,壶嘴伸向向日葵,持续给那一组向日葵浇水,水流准确落在向日葵花头下方到上半段茎部的位置,水流连续、细、稳定,老人上身微微前倾,视线始终看着花。0s-1.8s,环境保持温暖正常,树上有叶子,地面无雪,花园是正常生长状态,镜头只有轻微手持晃动和极轻的向前压近。1.8s-2.8s,镜头突然加速向前短促推进一小段,推进的同时整幅画面快速进入冬季状态:画面色温立刻变冷,树叶在极短时间内全部消失,只剩秃树干和光秃树枝,草坪和道路边缘出现一层薄薄积雪,栅栏顶部、花坛边缘、屋檐下沿和窗台出现薄雪覆盖,向日葵在镜头里迅速失水枯萎,花盘下垂,花瓣收缩卷曲发褐,茎叶发蔫;同一时刻,浇水壶壶嘴处原本流出的水流瞬间停止,在壶嘴下方冻结成几根清楚分离、垂直下挂的细长冰柱,形状保留“水流被瞬间冻住”的状态。2.8s-4.2s,老人立刻感到寒冷,先不是看天,而是先出现连续发冷反应:肩膀上提,脖子缩起,手臂往身体收,胸口略紧,身体和双臂出现明显瑟瑟发抖,浇水动作完全停住;随后他在发抖状态里,慢慢把头抬起来,视线从眼前的枯萎向日葵往上移,眼神一路往天上看,表情是疑惑、发冷、反应不过来的状态。4.2s-5s,就在他把头抬到看向天空的那一刻,camera follows his gaze and performs a fast whip tilt upward,镜头沿着他的视线快速向上甩到天空,手持感加强,带明显 motion blur、惯性摇晃和一点 horizon instability,作为结尾停在偏上的天空方向。整体质感要求真实摄影、真实住宅街区、真实人物比例、真实植物枯萎过程、真实薄雪覆盖方式、真实冰柱质感,画面是写实的生活场景里发生了明确的季节突变。
Negative:不要切镜头,不要改动图1原始透视和街区布局,不要把老人放到别的位置,不要浇别的植物,只浇那一组向日葵,不要把水流冻成一整坨冰块,要是几根分开的细长冰柱,不要让雪变成暴风雪,不要出现大风乱吹,不要让房屋结构变化,不要让人物夸张表演,不要让镜头提前甩到天空,必须先发抖,再慢慢抬头看天,最后再快速上甩。
优化后 · 季节突变镜头

使用成效

经过持续的生成、筛选与对比,模板对意图表达和生成可用性的帮助逐渐清晰。我也把它分享给其他创作者,收到的反馈主要集中在:表达更明确,对提示词的约束更有针对性。

每 8 条中的直接可用结果

生成结果对比
优化前

1–2 / 8 条

优化后

3–4 / 8 条

范围下限浮动区间

实际创作中,每批 8 条生成结果的常见可用范围;不同任务与模型条件下会有变化。

生成实践中的“三七”分布

阶段性归纳

约 70%现有方法可完成

约 30%需要多轮优化的镜头

经过大量视频生成、反复抽卡与结果筛选,逐步归纳出大致的三七分布:约七成镜头可以用现有方法完成,约三成需要多轮优化。比例随模型能力与镜头难度变化。

难镜头的调整轮数

创作案例

针对约 30% 需要多轮优化的镜头

未使用提示约束约 100 轮
使用提示约束约 20 轮

调整轮数减少 约 80%

在实际创作的难镜头调整中,反复使用提示约束细化动作、时序与限制,所需轮数可从约 100 轮降至约 20 轮,减少约 80%。

分析与展望

这套提示词工程逐渐形成了一个“提示约束模型”:在创作意图进入视频生成之前,先明确参考素材各自控制什么、动作按什么顺序发生,以及画面中哪些内容必须保持。它让语言模型的转述有了边界,减少“理解得通,却不是我想要的”偏差。

这些约束也为后续优化提供了依据。结果偏离预期时,可以回到人物、空间、时序或交互,定位需要修改的描述。经过生成与筛选,把有效约束沉淀进模板,再随着新的任务与模型继续修订,让创作意图的传达更稳定,也让每次调整有迹可循。