在2024中關村論壇年會未來人工智能先鋒論壇上，清華大學聯合生數科技27日正式發布中國首個長時長、高一致性、高動態性視頻大模型——Vidu。
該模型采用團隊原創的Diffusion與Transformer融合的架構U-ViT，支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內容。
據介紹，Vidu不僅能夠模擬真實物理世界，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora發布之后全球率先取得重大突破的視頻大模型，性能全面對標國際頂尖水平，并在加速迭代提升中。
在當天的論壇上，清華大學教授、生數科技首席科學家朱軍表示，與Sora一致，Vidu能夠根據提供的文本描述直接生成長達16秒的高質量視頻。除了在時長方面的突破外，Vidu在視頻效果方面實現顯著提升，主要體現在模擬真實物理世界、多鏡頭語言、時空一致性高、理解中國元素等方面。
“值得一提的是，Vidu采用的是‘一步到位’的生成方式。”朱軍表示，與Sora一樣，文本到視頻的轉換是直接且連續的，在底層算法實現上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。
朱軍表示，Vidu的快速突破源自于團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊于2022年9月提出，早于Sora采用的DiT架構，是全球首個Diffusion與Transformer融合的架構，完全由團隊自主研發。
自今年2月Sora發布推出后，團隊基于對U-ViT架構的深入理解以及長期積累的工程與數據經驗，在短短兩個月進一步突破長視頻表示與處理關鍵技術，研發推出Vidu視頻大模型，顯著提升視頻的連貫性與動態性。
“Vidu的命名不僅諧音‘Vedio’，也蘊含‘We do’的寓意。”朱軍表示，模型的突破是一個多維度、跨領域的綜合性過程，需要技術與產業應用的深度融合，希望與產業鏈上下游企業、研究機構加強合作，共同推動視頻大模型進展。
