一些對我們而言輕而易舉的事情,對于聽障人士來說,卻非常困難——比如“看”冬奧會。這次他們有福了!據悉,將有一位“數字主播”——手語播報AI數字人亮相北京2022冬奧會和冬殘奧會,她會在大屏幕上根據主持人的語音用手語將冬奧賽事進行同步播報。
9月24日,在2021中關村論壇之“人工智能與多學科協同創新”平行論壇上,北京智源人工智能研究院學術副院長、清華大學教授唐杰發布了“冬奧手語播報數字人系統”成果 圖片來源/中國科學報 鄭金武攝影
根據國內統計數據,中國有超過2700萬聽障人士,對教育、社交、娛樂、信息獲取有巨大的需求。如果算上需要與他們交流的親人、朋友和同事,更是會涉及到上億人。
傳統的手語播報,主要靠手勢來傳遞信息,一方面因不同的人有不同的手勢習慣,容易造成信息傳遞偏差;另一方面,會造成手語播報主持人翻譯工作量大、與節目主持人配合難度高,從一定程度上限制了聽障人士對于信息的獲取。手語播報AI數字人首先可以避免“千人千面”,始終保持統一;其次,可以根據收聽到的語音,自動實時生成手語手勢,提供精確的播報服務。
數字手語主播不僅需要真實的數字人形象,也需要能夠理解、翻譯語音和手語的數字大腦。手語播報數字人,是一個“智能人”,它不僅擁有生動的表情神態、豐富的肢體語言,還擁有“大腦”——能夠理解、翻譯語音和手語的數字雙輪驅動虛擬數字腦。它配置了口形、表情、姿態、手部動作等多種素材以便進行“表情管理”。
2021年9月23日,北京,2021年中關村論壇上手語播報數字人 圖片來源/視覺中國
為了提高冬奧播報的準確性,研發團隊還對手語播報數字人進行了“培訓”,構建了冬奧手語語料庫,包括多模態肢體動作、表情、手指等語料,教授數字腦掌握手語表達的方法。同時,手語數字腦可以通過計算機模仿聽障人士的大腦,將看到的中文文本信息轉換成手語詞匯序列,讓聽障人士實時了解賽事進程。通過AI技術將播報內容翻譯合成為手語,并利用數字人虛擬主播來播報,成為解決這一難題的重要途徑。
手語數字播報的實現,是因為背后有“悟道2.0”超大規模人工智能模型的技術支撐。結合冬奧會的有關信息,悟道大模型可以實現文本到手勢的自動轉化。當播報員播報時,數字人可以將文字轉換成手語,方便聽障人士收看賽事專題報道,這是“悟道2.0”超大規模預訓練模型的首次實際場景應用。依托“數據”與“知識”,冬奧期間賽事新聞實現了實時手語翻譯播報,填補了這一領域的空白。
2021年6月3日,觀眾在2021北京智源大會上參觀智能模型“悟道2.0”的資料介紹。“悟道2.0”模型的參數規模達到1.75萬億,是目前中國首個、全球最大的萬億級模型 圖片來源/視覺中國
據了解,這一“冬奧手語播報數字人系統”由北京市科委、北京市殘聯發起,科技冬奧專項支持,智譜AI、凌云光和北京廣播電視臺聯合打造,項目還得到了市殘聯聾人協會的大力支持。
數字人的未來不只是手語播報,隨著人工智能技術的不斷演進,數字人也進入了其它領域,如向大家介紹空間站情況的數字記者小諍、游戲直播行業涌現的各類虛擬人物等。
如今,在技術蓬勃發展的新風口下,數字人不僅達到了人像的寫實級逼真程度,還具備了一定的溝通交流能力。虛擬互動技術的擴展,讓數字人可以進入到醫學、礦學和航天學等精細或危險領域。未來,數字人將具備類似人的看、聽、說和知識邏輯能力,人工智能將進一步發展。讓我們翹首以待吧!