Google 在官方部落格上整理了開發者以影片生成 AI「Gemini Omni」製作的 5 組作品[1]。其中有把同一個場景重新拍成約 20 種鏡位的,有只靠語音把白天改成夜晚並讓雪落下的,也有把手繪塗鴉當成動作指令使用的。這些作品都只靠對話或簡單的輸入來組成影片。開發者版本開放約 1 個月後,這個模型實際能做到哪些事,輪廓正逐漸清晰。
把同一個場景重拍成約 20 種鏡位
第一組作品談的是運鏡。開發者 Leon Lin 從一段站在城市街頭的女性影片出發,做出約 20 種視角[1]。近景與遠景、正面與側臉、俯視與仰角,同一個人物被從各種角度捕捉。有些鏡頭往前推,有些則維持固定。
背景也在人行道、斑馬線與街道之間切換,行人、汽車、路面電車與各式建築隨之更換。不必重拍就能替換鏡位這一點,在分鏡階段的推敲,以及用同一素材為社群平台產出多種版本時都很有用。
只用語音把白天變成夜晚並降雪
第二組作品是把場景本身重新改造。開發者 Carlos Santana 對一段戶外拍攝的影片只用語音下指令,把光線從白天切換到夜晚,加上陰天與雨聲,讓樹葉轉黃,並讓地面覆蓋積雪[1]。
天氣與季節是實拍中最難重來的要素。Google 說明,即使編輯影片中正在發生的事件,或替換成別的物體,Omni 仍能維持整個場景的連貫性。生成式 AI 常見的弱點是,原本只想改一個要素,結果整個畫面崩壞。能把這個問題壓到什麼程度,直接左右了這項功能的實用性。
把塗鴉當成動作指令書
第三組作品使用的是影片編輯工具「Google Flow」上的 Omni。手繪草圖可以轉換成寫實風格的影片,塗鴉的線條扮演指示各個元素如何運動的角色[1]。畫上去的線條要不要留在最終成品中也可以選擇。
開發者 Pan 用這套機制讓身邊的物體接連變身。檸檬變成漂在海上的潛水艇,濃縮咖啡杯變成載人飛越天空的熱氣球。兩根辣椒組成沉睡的巨龍,受驚時會噴火。火柴變成火箭,剪刀變成尋找獵物的鯊魚。
確實有這樣的場合:比起用文字說明動作,畫一條線更快。不依賴提示詞、能以圖形傳達意圖的輸入方式,顯示設計上也把非工程師的使用者納入考量。
一段影片裡從實拍切到動畫再切到黏土動畫
第四組作品是整體替換影像風格。提供參考素材,或以自然語言描述想要的樣子,Omni 就會把這些整合成一段完整的片段[1]。
開發者 Jerrod Lew 以 Google Flow 上的 Omni,把一段女性走在街上的影片用 4 種動畫風格分別呈現。原始片段從實拍到動畫再到黏土動畫連續變化,其間女性向前行走的動作沒有中斷。風格轉換時人物動作會不會出現不自然的斷裂,是衡量這類模型精度的直觀指標。
把提案資料與儀表板說明做成影片
第五組作品離開純創作用途,轉向企業場景。Hyperagent 團隊用 Omni 把 3 種概念做成影片[1]。一是在空蕩公園的影片上疊加綠化,做成前後對照式的設計提案;二是讓一位動畫教授登場解說商業儀表板,把資料擬人化;三是用角色逐項完成任務的影片,把待辦清單遊戲化。
這是把原本靠靜態圖與簡報說明的提案與內部資料,直接換成影片的思路。如果不必拍攝也不必外包就能做出會動的提案書,從成本效益來看,這是容易被採用的領域。
提供管道與目前的限制
Gemini Omni 可在 Gemini 應用程式、Google Flow、Google AI Studio、Gemini API 以及 Gemini Enterprise Agent Platform 上使用[1]。面向開發者的開放始於 2026 年 6 月 30 日,模型名稱為 gemini-omni-flash-preview[2]。
價格為每秒影片輸出 0.10 美元(約 16 日圓),與 Veo 3.1 Fast 處於同一水準[2]。不過限制仍在,目前可生成的影片最長為 10 秒。音訊參考素材的上傳與場景延長在 Gemini API 尚未支援,3 秒以內的影片參考雖然在 API 規格上會被接受,但模型目前無法正確處理。Google 也明確指出,在場景轉換與橫搖運鏡時,角色一致性存在限制[2]。
生成結果帶有 SynthID 數位浮水印,可以透過 Gemini 應用程式、Chrome 或搜尋確認內容是否由 AI 生成[2]。
※1 美元 = 159 日圓(截至 2026 年 8 月 11 日)
總結
Google 公開的 5 組作品在方向上分得很清楚:鏡位變更、天氣與季節替換、塗鴉驅動的動作、風格轉換,以及業務資料影片化。它們的共通點是都不以重拍或專業工具為前提。另一方面,10 秒的長度上限與場景轉換時的一致性問題仍然存在。在作品的視覺衝擊力與目前規格之間的落差之上,判斷要把它放進哪一道工序,才是現階段該做的事。
來源[1]:https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-builders/
