自由視點(diǎn)視頻FVV(Free Viewpoint Video)技術(shù)是自由視點(diǎn)3D視頻處理領(lǐng)域中最有前景的一種技術(shù)[1-4]。自由視點(diǎn)視頻處理技術(shù)的基本方法是基于深度圖像來估計(jì)和重建多視點(diǎn)視頻，從而顯著減少數(shù)據(jù)帶寬。所以深度圖像的估計(jì)和處理方法是自由視點(diǎn)視頻技術(shù)的關(guān)鍵和重點(diǎn)。

    深度圖像可以直接由基于運(yùn)動(dòng)-視差聯(lián)合估計(jì)的方法計(jì)算，利用這種方法能夠有效減少自由視點(diǎn)視頻技術(shù)中深度圖像處理過程所需的數(shù)據(jù)帶寬，并且沒有增加額外的硬件資源和計(jì)算時(shí)間成本。但是這種方法是在一個(gè)特定的搜索窗口內(nèi)用特定的代價(jià)函數(shù)來進(jìn)行塊搜索，所以它存在一些問題：在物體的邊緣存在著塊效應(yīng)；在連續(xù)的大背景區(qū)域、復(fù)雜背景區(qū)域存在預(yù)測噪聲。基于色度分割的方法可以改進(jìn)這些錯(cuò)誤。
1 色度分割原理
    原始的YUV圖像是由亮度分量和色度分量組成的。在一般的運(yùn)動(dòng)-視差聯(lián)合估計(jì)的方法中，只有亮度信息被用到，以求得視差矢量和深度圖像，包含有豐富的物體邊界信息的色度分量沒有被用到。對于連續(xù)物體表面或者背景區(qū)域，色度分量值幾乎是相同的。所以如果色度圖像按照特定的標(biāo)準(zhǔn)被分割，物體的表面或者背景區(qū)域就能被相應(yīng)地檢測出來。如果深度圖像的像素值在同一個(gè)分割內(nèi)各不相同，則在這個(gè)區(qū)域肯定存在深度預(yù)測錯(cuò)誤。通過檢測到錯(cuò)誤像素的位置，采取相應(yīng)的措施來糾正這些錯(cuò)誤。
    色度分割方法的三個(gè)步驟[5]：
    第一步：將U/V分量歸一化到[0，255]之間。
    第二步：進(jìn)行圖像分割，如果當(dāng)前像素值與其相鄰的頂部或者左側(cè)像素值絕對值小于DIV_TH，則它被劃分到相同的分割，否則分離到下一個(gè)新的分割，如式(1)所示：

  
2 深度圖像處理模塊設(shè)計(jì)方案
2.1 總體設(shè)計(jì)
2.1.1 深度處理模塊的架構(gòu)與組成設(shè)計(jì)
    根據(jù)算法結(jié)構(gòu)與組成，確定深度模塊的實(shí)現(xiàn)架構(gòu)與組成，包括總線結(jié)構(gòu)、存儲(chǔ)結(jié)構(gòu)、時(shí)鐘頻率、模塊組成等。
    總線結(jié)構(gòu)選用標(biāo)準(zhǔn)AXI總線。由于立體視頻需要實(shí)時(shí)處理多路視頻信號(hào)，所以需要的視頻數(shù)據(jù)處理帶寬極大，必須采用AXI總線設(shè)計(jì)才能滿足實(shí)時(shí)處理要求。內(nèi)部模塊所產(chǎn)生的處理數(shù)據(jù)，如果不能暫存于片上存儲(chǔ)單元中，則通過AXI總線寫到片外緩存。同樣，讀數(shù)據(jù)也通過AXI總線讀入處理模塊。存儲(chǔ)結(jié)構(gòu)根據(jù)視頻像素YUV分量的組成，分為Interleave存儲(chǔ)方式和非Interleave存儲(chǔ)方式。Interleave存儲(chǔ)可以實(shí)現(xiàn)具有較長Burst傳輸?shù)腄MA設(shè)計(jì)，但是內(nèi)部芯片設(shè)計(jì)較為復(fù)雜。而非Interleave存儲(chǔ)則不利于實(shí)現(xiàn)高效的總線傳輸，但是DMA設(shè)計(jì)相對簡單。根據(jù)所用的標(biāo)準(zhǔn)單元庫，以及芯片實(shí)際電路設(shè)計(jì)來確定所需的時(shí)鐘頻率,根據(jù)經(jīng)驗(yàn)應(yīng)不低于200 MHz。
2.1.2 運(yùn)動(dòng)估計(jì)與視差估計(jì)存儲(chǔ)單元設(shè)計(jì)
    由于需要對當(dāng)前塊同時(shí)進(jìn)行運(yùn)動(dòng)預(yù)測與視差預(yù)測，所以宏塊中間預(yù)測結(jié)果需要盡可能存儲(chǔ)于片上存儲(chǔ)單元中，以減少總線的輸入輸出數(shù)據(jù)帶寬。假設(shè)視差估計(jì)的搜索窗口為PW×PH，圖像分辨率為FW×FH，運(yùn)動(dòng)預(yù)測采用固定搜索窗口范圍48×48。視差預(yù)測模塊與運(yùn)動(dòng)預(yù)測模塊同時(shí)讀入相應(yīng)參考宏塊存入片上緩存，片上存儲(chǔ)單元需要將進(jìn)行完預(yù)測、并且后續(xù)預(yù)測有可能會(huì)用到的宏塊都存儲(chǔ)下來以減少數(shù)據(jù)帶寬，增加處理速度。這樣，運(yùn)動(dòng)估計(jì)存儲(chǔ)單元MEM（ME Memory）至少需要有16×3+4個(gè)像素行的容量，即FW×52。相應(yīng)視差存儲(chǔ)單元DEM（DE Memory）至少需要有FW×PH+4容量。
2.1.3 芯片軟硬件驗(yàn)證平臺(tái)設(shè)計(jì)
    芯片設(shè)計(jì)離不開驗(yàn)證平臺(tái)。大規(guī)模集成電路設(shè)計(jì)過程需要完善的驗(yàn)證平臺(tái)進(jìn)行仿真、測試來證明其功能和性能的正確性、完整性、實(shí)時(shí)性。立體視頻編碼芯片基于傳統(tǒng)的Verilog和C語言來搭建軟硬件驗(yàn)證平臺(tái)，如圖1所示。

 義內(nèi)部原始像素存儲(chǔ)器為8 bit位寬、地址從0～196 607的存儲(chǔ)器，用來存放片外讀取的U/V分量。類似地，定義內(nèi)部銳化像素存儲(chǔ)器為同樣類型的存儲(chǔ)器，用來存放經(jīng)過銳化處理過的U/V分量，這兩個(gè)存儲(chǔ)器的輸入、輸出均由存儲(chǔ)器控制器控制。定義兩個(gè)Reg寄存器Max Value Reg和Min Value Reg用來保存兩個(gè)比較器輸出的中間結(jié)果。存儲(chǔ)器控制器依次產(chǎn)生內(nèi)部原始像素存儲(chǔ)器的地址，內(nèi)部原始像素存儲(chǔ)器順序輸出給比較邏輯，等所有像素都輸出一遍后，寄存器Max Value Reg和Min Value Reg里面就分別保存了整幀的U/V色度分量最大值和最小值。然后使能寄存器，讓寄存器保持原來的值。控制器再依次產(chǎn)生內(nèi)部原始像素存儲(chǔ)器的地址，此時(shí)控制器根據(jù)后續(xù)的計(jì)算模塊的時(shí)序，對每一個(gè)像素值進(jìn)行銳化處理，得到的結(jié)果保存在內(nèi)部銳化像素存儲(chǔ)器里面。

2.3 色度分量分割模塊
    色度分割模塊框圖如圖4所示，從Sharp模塊出來的數(shù)據(jù)直接進(jìn)入Frag模塊進(jìn)行處理。圖4中內(nèi)部銳化像素存儲(chǔ)器和其右側(cè)的存儲(chǔ)器控制器與圖3中相對應(yīng)。根據(jù)像素所處的位置來選擇不同的處理方法：如果當(dāng)前像素處于第一行，則只需要將當(dāng)前像素與其左邊相鄰的像素進(jìn)行比較即可; 如果當(dāng)前像素處于第一列，則只需要與其上方相鄰的像素比較即可; 如果是其他位置的像素，則需要同時(shí)和其左邊的相鄰像素及上方的相鄰像素比較。比較準(zhǔn)則見式（1），得到的分割數(shù)Frag Number存在像素分割數(shù)存儲(chǔ)器中。

3 結(jié)果及分析
    Verilog 代碼經(jīng)Synopsys綜合工具Design Compiler的邏輯綜合，深度圖像處理模塊在 SMIC 0.18 um工藝下， 能夠達(dá)到總線時(shí)鐘為200 MHz的工作頻率，消耗89 100門邏輯資源。由此可知：基于色度分割的深度處理模塊能夠有效地減少數(shù)據(jù)帶寬，并且沒有額外增加硬件資源和計(jì)算時(shí)間成本，適用于實(shí)時(shí)自由視點(diǎn)3D視頻處理。
    圖6是基于塊搜索的運(yùn)動(dòng)-視差聯(lián)合預(yù)測方法直接得到的深度圖像，圖7是經(jīng)過基于色度分割方法的深度處理模塊優(yōu)化后得到的深度圖像。從圖6和圖7的對比可以看出：對于連續(xù)的大背景區(qū)域而言，這種深度圖像優(yōu)化方法可以有效地過濾深度圖像的預(yù)測噪聲，并且對于減少物體邊緣的塊效應(yīng)有很好的效果。另外，這種優(yōu)化方法也使得圖中的物體邊緣變得更加清晰，如椅子、墻壁和桌子的邊緣等。

    采用本文方法可以顯著減少連續(xù)大背景區(qū)域的深度圖像的預(yù)測噪聲，也能較好地改善物體邊緣處的塊效應(yīng)。采用運(yùn)動(dòng)-視差聯(lián)合估計(jì)的方法，結(jié)合這種基于色度分割的深度優(yōu)化方法，可以有效地優(yōu)化深度圖像，顯著減少計(jì)算量和數(shù)據(jù)帶寬，非常適用于實(shí)時(shí)自由視點(diǎn)3D視頻處理。
參考文獻(xiàn)
[1] SMOLIC A，MUELLER K，STEFANOSKI N，et al.Coding  algorithms for 3DTV-A survey[J].IEEE Transactions on  Circuits and Systems for Video Technology，2007，17(11)：1606-1621.
[2] MARKUS F，ADITYA M，BERND G.Motion and disparity compensated coding for multiview video[J].IEEE Transtions on Circuits and Systems for Video Technology，2007，17(11)：1474-1484.
[3] VETRO A，WIEGAND T，SULLIVAN G J.Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard[J].IEEE Proceedings，2011(99)：1-17.
[4] ITU-T Rec.H.264-ISO/IEC 14496-10 AVC：Advanced  video coding for generic audiovisual services[Z].ITU-T and ISO/IEC Joint Video Team，2005.
[5] Li Zhou，Tao Sun，Zhong Lv，et al.Depth map optimization  based on adaptive chrominance image segmentation[J]. Communication Software and Networks，2011(5)：660-664.