谷歌在官方博客上汇总了开发者用视频生成 AI「Gemini Omni」制作的 5 个作品[1]。其中有把同一个场景重新拍成约 20 种机位的,有仅靠语音把白天改成黑夜并让雪落下来的,还有把手绘涂鸦当作运动指令使用的。这些作品都只依靠对话或简单输入来搭建视频。开发者版本开放约 1 个月后,这个模型实际能做到什么,轮廓正在清晰起来。
把同一个场景重拍成约 20 种机位
第一个作品关于运镜。开发者 Leon Lin 从一段站在城市街头的女性视频出发,生成了约 20 种视角[1]。近景与远景、正面与侧脸、俯视与仰视,同一个人物被从各个角度捕捉。有的镜头推进,有的保持固定。
背景也在人行道、斑马线和街道之间切换,行人、汽车、有轨电车和各种建筑随之更换。不用重拍就能替换机位这一点,在分镜阶段的推敲,以及用同一素材为社交平台产出多个版本时都很有用。
只用语音把白天变成黑夜并降雪
第二个作品是重新改造场景本身。开发者 Carlos Santana 对一段户外拍摄的视频只用语音下达指令,把光线从白天切换到夜晚,加上阴云和雨声,让树叶变黄,并让地面覆盖上积雪[1]。
天气和季节是实拍中最难重来的要素。谷歌说明,即使编辑视频中正在发生的事件,或者替换成别的物体,Omni 依然能保持整个场景的连贯性。生成式 AI 常见的弱点是,本想只改一个要素,结果整个画面崩坏。能把这个问题压制到什么程度,直接决定了该功能的实用性。
把涂鸦当作运动指令书
第三个作品使用的是视频编辑工具「Google Flow」中的 Omni。手绘草图可以转换成写实风格的视频,涂鸦的线条承担着指示各个元素如何运动的作用[1]。画上去的线条是否保留在最终成品中也可以选择。
开发者 Pan 用这套机制让身边的物体接连变身。柠檬变成漂浮在海上的潜水艇,浓缩咖啡杯变成载人飞越天空的热气球。两根辣椒组成沉睡的巨龙,被惊醒时会喷火。火柴变成火箭,剪刀变成寻找猎物的鲨鱼。
确实存在这样的场景:比起用文字说明动作,画一条线更快。不依赖提示词、能以图形传达意图的输入方式,说明设计上也考虑到了非工程师用户。
一段视频里从实拍切到动画再切到黏土动画
第四个作品是整体替换影像风格。提供参考素材,或者用自然语言描述想要的效果,Omni 就会把它们整合成一段完整的片段[1]。
开发者 Jerrod Lew 用 Google Flow 上的 Omni,把一段女性走在街上的视频用 4 种动画风格分别呈现。原始片段从实拍到动画再到黏土动画连续变化,其间女性向前行走的动作没有断裂。风格转换时人物动作是否会出现不自然的中断,是衡量这类模型精度的一个直观指标。
把提案资料和仪表盘讲解做成视频
第五个作品离开纯创作用途,转向企业场景。Hyperagent 团队用 Omni 把 3 种概念做成了视频[1]。一个是在空荡公园的视频上叠加绿化,做成前后对比式的设计提案;一个是让一位动画教授登场讲解业务仪表盘,把数据拟人化;还有一个是用角色逐项完成任务的视频,把待办清单游戏化。
这是把原本靠静态图和幻灯片说明的提案与内部资料,直接换成视频的思路。如果不用拍摄也不用外包就能做出会动的提案书,从成本效益角度看,这是容易被采用的领域。
提供渠道与当前限制
Gemini Omni 可在 Gemini 应用、Google Flow、Google AI Studio、Gemini API 以及 Gemini Enterprise Agent Platform 中使用[1]。面向开发者的开放始于 2026 年 6 月 30 日,模型名称为 gemini-omni-flash-preview[2]。
价格为每秒视频输出 0.10 美元(约 16 日元),与 Veo 3.1 Fast 处于同一水平[2]。不过限制依然存在,目前可生成的视频最长为 10 秒。音频参考素材的上传和场景延长在 Gemini API 中尚未支持,3 秒以内的视频参考虽然在 API 规范上会被接收,但模型目前无法正确处理。谷歌还明确指出,在场景转换和横摇运镜时,角色一致性存在局限[2]。
生成结果带有 SynthID 数字水印,可以通过 Gemini 应用、Chrome 或搜索确认内容是否由 AI 生成[2]。
※1 美元 = 159 日元(截至 2026 年 8 月 11 日)
总结
谷歌公开的 5 个作品在方向上划分得很清晰:机位变更、天气与季节替换、涂鸦驱动的运动、风格转换,以及业务资料视频化。它们的共同点是都不以重拍或专业工具为前提。另一方面,10 秒的时长上限和场景转换时的一致性问题仍然存在。在作品的视觉冲击力与当前规格之间的落差之上,判断把它嵌入哪个环节,才是现阶段该做的事。
来源[1]:https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-builders/
