一张静止照片里没有运动。不是藏起来的运动,不是可以提取出来的潜在运动——什么都没有。一帧画面,没有时间轴,也没有任何关于十分之一秒之前或之后发生过什么的信息。所以当一条视频回来说,照片里的人眨眼了、转头了、重心挪了一下,那就意味着有东西被凭空造出来了。
搞清楚造出来的是什么、这个创造又被什么锚定住,几乎能解释人们对 AI 视频的每一个质量疑问:为什么脸能撑住而外套换了颜色,为什么手总是出错,以及为什么十秒片和三十秒片是完全不同的两道题。
「让照片动起来」不是什么
它不是像素位移。没有人在把你的图挂到一张网格上拉扯,把眼睛往下滑、嘴巴掰开。这种技术确实存在——早期换脸 App 就是这么干的——它的标志性失败是一种橡胶感,五官在皮肤上滑移。
现代图生视频不做变换。它生成新的帧,然后把你的照片当作对这些帧内容的约束。这个区别之所以重要,是因为它解释了失败模式:变形做不出背景,但生成器能,而且有时候真的会。
第一步:照片变成了一段描述
上传的图第一件遭遇的事,是被编码成一种内部表示——一份关于画面内容的稠密数值摘要,而不是一片像素网格。布局、形状、明暗、脸的粗略几何、光的颜色。
这一步是有损的,而且损失方向很明确:语义内容活下来,细节活不下来。「一个深色头发的人,面向镜头,在一间昏暗的房间里」能完整活下来。他脸颊上具体的毛孔分布活不下来。这也解释了为什么过度滤镜的照片比原片结果更差——美颜磨掉了编码器本来要用来重建皮肤的微纹理,只剩一片平滑的渐变,于是生成器用某种通用而蜡质的东西把空缺填上了。
第二步:帧被生成,照片在投票
每一帧都从噪声开始,被逐步精修。在每一次精修中,模型同时被两股力量拉:对场景的文字描述,以及参考图。
参考图是结果长得像你照片的原因,也是相似度不均匀的原因。约束在参考信息最密集的地方最强——一张受光良好的正面脸塞满了独特结构,模型有很多东西可抓。一只手出了画面,或一条手臂落在阴影里,几乎不携带信息,于是模型基本可以自由发挥,而它发挥得很糟,因为手本来就难。
第三步:一致性发生在帧与帧之间,而不是帧内部
这是多数解释都会跳过的一段。单帧看起来可信并不难。一百帧都在显示同一个人才难,因为这个过程本身并没有什么东西天然把第 40 帧和第 39 帧绑在一起。
把它们绑起来的是第二重约束:每一张新帧同时以紧邻的前几帧为条件。模型被要求的是「延续一段运动」,而不是「独立渲染一张画」。这是片子能连起来的原因,也是失败集中在「变化发生的那一刻」的原因。
有三种情况会稳定地拉紧这条链:
- 遮挡。 手臂扫过躯干时,模型得记住后面本来是什么。它经常记不住,于是重建出一件略有不同的衣服。
- 大幅度运动。 快速转身意味着画面大部分是全新信息,没有前一帧可作条件。
- 切镜。 硬切会重置条件。切点之后的一切,重新只由文字描述和参考图生成——这就是为什么衣服、光线甚至脸型会在切点两侧漂移,而在一个镜头内部却稳稳当当。
为什么脸稳、手飘
这种不对称并不神秘,是信息密度决定的。
一张分辨率尚可的正面脸,给模型几百个稳定地标——眼距、眉线、鼻型、嘴角的具体形态。这些地标在每一帧上都要和参考复核一遍,所以它们不动。
十秒之后的某只手,可能很小、有角度、部分在阴影里、还在动。这些几乎都不在参考图里。模型必须从零合成手指结构,而手指是视觉生成里最难的东西之一,因为一点位置误差就能把手变成关节数目不对的东西。
实用结论不是「AI 做不好手」,而是:一只可见、受光、姿势大致接近参考照片的手会看着没问题;一只完全靠发明出来的手大概不会。
为什么眼睛是最先露馅的地方
人类读眼睛的精度高得离谱。我们能在潜意识层面察觉视线偏了一点点、瞳孔大小不对、反光和环境光不匹配。
在生成的视频里,眼睛同时干两件事:形状必须匹配参考照片里那双具体的眼睛,同时还得动得像眼睛——细微的扫视、合理间隔的眨眼、落点明确的注视,而不是飘着。当这两件事冲突时,最先露出来的就是眼睛,而观众的反馈是「说不上来哪里怪」。
这也是为什么一张正面、清晰、受光均匀的照片,胜过一个更上镜的侧角。眼睛是画面里信息量最高的特征,把它们拍清楚,是你能给模型的最好的东西。
为什么十秒和三十秒是两道不同的题
一致性会随时间退化,就像任何迭代过程都会累积误差。第 300 帧以 299 个前驱为条件,每一个都引入过一点偏差。
实际上这意味着:一条片子的前几秒通常最强,之后漂移开始复利。这就是为什么短片感觉紧、长片感觉在化掉。也是为什么同一个模型能产出完美的十秒和糊掉的三十秒——什么都没变,只是链变长了。
知道这一点会改变你怎么规划项目。与其做一条三十秒视频,不如做三条十秒的镜头剪在一起,因为每个镜头都用一份新鲜的、强力的参考重新起链。
对你上传那张照片意味着什么
以上全部压缩成一张短清单:
- 正面胜过艺术感。 一双眼睛看得清楚,比一个上镜的角度更值钱。
- 原片胜过滤镜。 皮肤纹理是信号。磨皮是在删信号。
- 明亮胜过氛围。 阴影拿走了模型本来会用的信息。
- 清晰胜过一切。 一张软掉或虚掉的脸,就是一张模型得靠猜的脸。
- 一张照片一个人。 情侣合照必须被拆成两个角色,而拆分处正是特征互相渗透的地方。
常见问题
模型是复制我的照片,还是生成一个新的人?
它生成的是一个在结构上高度匹配照片的人。十秒片按正常速度看,相似度很能骗过人。暂停放大,你会发现差异——模型在做重建,不是在描图。
为什么脸不变,衣服却会变?
衣服承载的身份信息比脸少,所以模型保持它一致的理由更弱,而运动中的遮挡又给了它一个重新发明的借口。脸是锚,衣柜是可谈判的。
可以在提示词里描述问题来修吗?
如果问题是场景级的(光不对、地点不对、动作太多),有时候可以。提示词修不了照片级的问题,比如侧过去的脸或重度滤镜——那必须靠换一张照片解决。
上传照片的分辨率有影响吗?
有,而且明显。256 × 256 是下限,不是目标。更大更清晰的源图给编码器更多可保留的结构,这在眼睛和嘴周最看得出来。
为什么我的视频前三秒很好,然后就漂了?
漂移是沿帧链累积的误差。它是这套方法的固有属性,主要的实用对策是把镜头做短,而不是做长。
真正在你手里的那部分
这件事里所有昂贵的东西——重试、失望的渲染、反复改提示词——都可以追溯到开头两分钟选定的输入。模型是在拿你给的东西做一件确实很难的事;杠杆在你能给它什么。
如果你想在押上一张照片之前先看看运动行为,生成器页面上的样片展示了镜头节奏和模型对光的处理方式。它不会展示你这一条的具体结果,因为那是官方演示片——在一个「预览」普遍是营销话术的品类里,这算是诚实的那种版本。