谷歌研究院推出了一款名為Lumiere的“文生視頻”擴(kuò)散模型，主打采用自家最新開(kāi)發(fā)的“Space-Time U-Net”基礎(chǔ)架構(gòu)，號(hào)稱能夠一次生成“完整、真實(shí)、動(dòng)作連貫”的視頻。這是一種新的生成式AI工具,可幫助您通過(guò)基于文本的命令創(chuàng)建更逼真的圖像和視頻。

谷歌表示，業(yè)界絕大多數(shù)“文生視頻”模型無(wú)法生成時(shí)間長(zhǎng)、質(zhì)量佳、動(dòng)作連貫逼真的內(nèi)容，這是因?yàn)榇祟惸Ｐ屯ǔ！胺侄紊梢曨l”，首先產(chǎn)生幾張關(guān)鍵幀，接著用“時(shí)間超級(jí)分辨率（Temporal Super-Resolution）”技術(shù)，生成關(guān)鍵幀之間的視頻文件，這種方法雖然能夠節(jié)省 RAM，但難以生成“連貫逼真”的視頻。

谷歌稱他們的新模型 Lumiere的亮點(diǎn)之一是，相對(duì)于業(yè)界模型最大的不同是采用了全新“Space-Time U-Net”基礎(chǔ)架構(gòu)，該架構(gòu)能夠在空間和時(shí)間上同時(shí)“降采樣（Downsample）”信號(hào)，從而在“更緊湊的時(shí)空中進(jìn)行更多運(yùn)算”，令Lumiere能夠生成持續(xù)時(shí)間更長(zhǎng)、動(dòng)作更連貫的視頻。

Lumiere 可用于創(chuàng)建以下內(nèi)容：

谷歌還為我們介紹了 Lumiere 的基礎(chǔ)特性，該 AI 建立在一個(gè)經(jīng)過(guò)預(yù)先訓(xùn)練的“文生圖”模型基礎(chǔ)上，研究人員首先讓基礎(chǔ)模型生成視頻分幀的基本像素草稿，接著通過(guò)空間超分辨率（SSR）模型，逐步提升分幀分辨率及細(xì)節(jié)，并利用“Multidiffusion”通用生成框架提升模型穩(wěn)定性，從而保證了最終輸出的視頻一致性和連續(xù)性。

Lumiere是谷歌在AI視頻生成技術(shù)上的一次重大突破。值得注意的是，如果您想嘗試使用Lumiere，你需要強(qiáng)大的GPU來(lái)驅(qū)動(dòng)電腦的圖形功能。