隨著科技的進步，人們對于音視頻的要求不再僅僅只看得見和聽得到，而更加追求視覺和聽覺的雙重享受，追求那種身臨其境的感覺，也就是我們常提到的沉浸式體驗。而要達(dá)到沉浸式體驗，音頻的效果至關(guān)重要。
沉浸式音頻技術(shù)近年來逐漸擴大其應(yīng)用范圍，迅速發(fā)展到固定裝置、廣播，甚至現(xiàn)場演出等領(lǐng)域里。2018年6月28日，世界著名的音頻及媒體技術(shù)研究機構(gòu)Fraunhofer IIS在2018年上海世界移動大會（MWC SH）上展示了能夠為移動和家庭用戶帶來極致音頻體驗的系列技術(shù)：為廣播電視和OTT領(lǐng)域打造沉浸式和互動式音效的MPEG-H電視音頻系統(tǒng)，通過一個3D條形音箱營造家庭端影院級音效的沉浸式音頻虛擬器upHear，為手機用戶帶來全高清語音通話質(zhì)量的增強型語音編解碼器EVS技術(shù), 以及為數(shù)字廣播和移動流媒體應(yīng)用帶來卓越音頻解決方案的xHE-AAC技術(shù)。
MPEG-H Audio——下一代交互及沉浸式音頻系統(tǒng)
隨著MPEG-H成功集成于ATSC3.0和DVB標(biāo)準(zhǔn)，并于2017年5月起應(yīng)用于韓國基ATSC 3.0的全新地面超高清電視系統(tǒng)中，MPEG-H技術(shù)成為了全球首個成功商用的下一代廣播電視音頻技術(shù)。今年3月，基于MPEG-H技術(shù)的Fraunhofer技術(shù)提案入選入選中國廣電三維聲傳輸段標(biāo)準(zhǔn)草案。目前，搭載了MPEG-H技術(shù)的專業(yè)廣電設(shè)備（編碼器、解碼器和監(jiān)聽解決方案）和消費電子產(chǎn)品（家用機頂盒和電視機）已經(jīng)先后問世。
Fraunhofer工作人員指出，MPEG-H Audio系統(tǒng)能夠帶來身臨其境的沉浸感并賦予用戶選擇的權(quán)利，用戶可以切換不同的音頻預(yù)設(shè)以及調(diào)節(jié)對白音量，在家庭影院、智能手機、平板電腦還是虛擬現(xiàn)實設(shè)備上都能傳遞最佳的聲音體驗。
俄羅斯世界杯期間，韓國SBS電視臺通過基于ATSC 3.0標(biāo)準(zhǔn)的超高清視頻技術(shù)直播該項賽事，由Fraunhofer主導(dǎo)研發(fā)的MPEG-H電視音頻系統(tǒng)的高級功能為用戶帶來沉浸式和交互式音頻體驗。SBS的觀眾成為全球范圍內(nèi)首批在常規(guī)電視節(jié)目中享受沉浸式3D音頻和個性化音頻體驗的用戶。他們除了能夠選擇適合自己的音頻預(yù)設(shè)以外，通過MPEG-H的對白增強功能還可以根據(jù)自身需求優(yōu)化對白混音效果，該功能也將幫助聽力障礙人士更好地理解節(jié)目內(nèi)容。
Fraunhofer IIS中國區(qū)業(yè)務(wù)代表Toni Fiedler先生表示：“目前，我們正在與CCTV團隊緊鑼密鼓地開展2018年俄羅斯世界杯期間中國三維聲音頻實時信號的測試工作，從而驗證草案標(biāo)準(zhǔn)在實際直播過程中的可行性。與此同時，我們也在探討如何將全新音頻技術(shù)更好地通過新媒體應(yīng)用呈獻(xiàn)給更為廣泛的觀眾群體。我們期待著中國三維聲標(biāo)準(zhǔn)在不久的將來能夠順利發(fā)布，并盡快為中國用戶帶來下一代音頻體驗。“
Fraunhofer IIS中國區(qū)業(yè)務(wù)代表Toni Fiedler先生
upHear讓單個條形音箱營造沉浸式影院音效
Fraunhofer upHear沉浸式音頻虛擬器是與編碼器無關(guān)的音頻后處理器技術(shù)，它能夠集成于條形音箱和電視機等大眾消費電子設(shè)備中，為用戶帶來真實且具有包容感的3D聲音。Fraunhofer upHear具有以下特征：
·根據(jù)具體硬件設(shè)計而優(yōu)化的沉浸式音頻還放；
·與音頻編碼器無關(guān)的音頻后處理技術(shù)，原生支持MPEG-H內(nèi)容；
·支持傳統(tǒng)內(nèi)容立體聲和環(huán)繞聲內(nèi)容的上混；
·為嵌入式系統(tǒng)設(shè)計的優(yōu)化目標(biāo)代碼庫（例如：ADI和TI DSPs）。
憑借Fraunhofer upHear沉浸式音頻虛擬器，用戶可以在家中通過一個條形音箱享受影院般真實的沉浸式和互動式音效。在未來，支持MPEG-H解碼的移動設(shè)備和OTT應(yīng)用也能夠帶來同樣真實的聽覺盛宴。
在MWC現(xiàn)場，觀眾們在Fraunhofer切實地感受到了upHear沉浸式音頻虛擬器的魅力，不管是音樂、電影、電視劇和普通音頻，都可以感受到那種身臨其境的感覺。
除了體驗，我們還在現(xiàn)場看到了基于Fraunhofer upHear打造的智能音箱demo——Yandex.IO。Yandex實驗產(chǎn)品總監(jiān)Konstantin Kruglov此前曾表示：“我們在Yandex.IO遠(yuǎn)場麥克風(fēng)陣列技術(shù)上測試了多種語音增強解決方案，最終發(fā)現(xiàn)FraunhoferupHear技術(shù)能夠最有效地幫助Alice實現(xiàn)從智能手機到智能家居應(yīng)用的轉(zhuǎn)型。不論你是站在設(shè)備前方、房間角落亦或是在糟糕的聲學(xué)條件下，Alice都能聽清你的口令。”
xHE-AAC為流媒體和數(shù)字廣播提升音頻質(zhì)量
xHE-AAC是MPEG AAC音頻編解碼器的最新版本，它的加入使AAC系列編解碼器的立體聲傳輸碼率適用范圍得到進一步拓展，從低至12 kbit/s直至300 kbit / s，從而讓視頻點播(SVOD)和流媒體音樂提供商在網(wǎng)絡(luò)狀況不佳或2G/3G網(wǎng)絡(luò)下也能為消費者帶來優(yōu)質(zhì)可靠的體驗。此外，MPEG-D DRC為xHE-AAC帶來的強制響度控制功能能夠確保用戶收聽到音量一致的還放內(nèi)容，其提供的動態(tài)范圍控制配置文件能夠確保用戶在嘈雜環(huán)境中享受優(yōu)質(zhì)的聆聽體驗。
目前，Android P原生支持Fraunhofer xHE-AAC音頻編解碼器，開發(fā)人員能夠立即在Android P全新的FDK API中運用這些新功能。