文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.2017.05.008
中文引用格式： 黃友文，董洋. 一種HEVC標準中IDCT變換的FPGA實現[J].電子技術應用，2017，43(5)：38-40.
英文引用格式： Huang Youwen，Dong Yang. An IDCT transform implementation on FPGA in HEVC[J].Application of Electronic Technique，2017，43(5)：38-40.
0 引言
為解決當前主流視頻編碼標準H.264/AVC無法滿足高分辨率視頻和圖像的問題，視頻編碼聯合開發組(Joint Collaborative Team on Video Coding)于2013年1月正式發布了新一代高效視頻編碼標準HEVC(High Efficiency Video Coding)，HEVC的目標是在H.264/AVC的基礎上，在相同碼率條件下，提高50%的壓縮率[1]。HEVC標準中采用的是整數逆離散余弦變換(Inverse Discrete Cosine Transform)，這樣就防止了采用浮點數在有限數據精度下編碼器與解碼器之間的誤差。
HEVC支持的IDCT包括4、8、16、32點4種不同尺寸[1]，因此，硬件結構的靈活性顯得格外重要。目前已有的設計對全部尺寸的IDCT變換支持不夠全面[2-3]，文獻[4]可以實現全部尺寸的IDCT變換，但是由于采用單一IDCT計算單元，不能很好地對視頻信號進行實時處理。
本文在研究HEVC標準中的IDCT算法之后[9]，設計了一種可以統一處理各種尺寸的電路結構。通過對IDCT變換矩陣系數的分解[6]，復用小尺寸的變換單元來構建更大的變換單元，采用傳統的移位加進行常系數的乘法，同時優化了移位加中的操作冗余。利用FPGA內部的雙口RAM進行矩陣轉置，減少硬件消耗[5]。為了使設計達到預期的工作頻率，采用流水線技術對其關鍵路徑進行優化，同時設計并行數據調度機制，減少硬件等待時間，提高硬件使用率，使其滿足了實時處理30幀/秒、采樣率為4:2:0的視頻信號的要求。
1 設計總體架構
整體設計結構如圖1所示，完整的二維IDCT由兩個IDCT運算單元和一個轉置單元組成，為了使系統可以擁有更高的數據吞吐量，采用了經典的全并行結構。考慮到在HEVC解碼器中IDCT模塊需要配合其他相應的模塊進行工作，采用并行的方式輸入，圖1箭頭方向表示數據及控制信號的流動，為了簡明起見，結構圖中省略了時鐘與復位信號。IDCT_1D模塊對數據進行一維IDCT運算，IDCT_2D模塊對數據進行二維IDCT運算，Transpose模塊對內部的數據進行轉置操作，采用這種單向數據流的硬件電路，減少了控制邏輯的復雜度，數據處理過程如下：首先把使能sel信號拉高，模塊開始工作，然后輸入指示數據塊TU的尺寸大小信號blk與數據in0~in31，先按列輸入到一維變換單元IDCT_1D，計算得到的中間結果，經過轉置單元Transpose轉置之后，再在二維變換單元IDCT_2D中進行運算，輸出最終結果，rdy信號表示得到有效計算數據。
2 IDCT模塊
相比H.264/AVC，HEVC支持的整數IDCT尺寸為4×4，8×8，16×16，32×32四種塊尺寸變換[1]，圖1中的IDCT_1D模塊與IDCT_2D模塊實現結構類似，不同之處在于兩個模塊輸入的數據位寬，參考HM16.0[7]，IDCT_1D輸入位寬為8 bit，即預測圖像與原始圖像的殘差值數據位寬為8 bit，經過Transpose模塊的輸出數據位寬為16 bit，即IDCT_2D輸入數據位寬為16 bit，為了節約硬件資源并保證數據的準確性，在經過IDCT_1D運算之后，參考標準HM模型，數據需要進行截位操作，使其位寬保持在16 bit，這樣就統一了硬件結構與轉置操作過程中所需要的存儲器消耗[6]。
圖2顯示了IDCT運算單元的內部細節，該設計復用了硬件結構，使得在進行較大尺寸的IDCT運算時可以使用較小的IDCT模塊，IDCT32為最終的運算單元，可以進行尺寸為32×32的IDCT運算，其內部的IDCT4、IDCT8、IDCT16，分別完成4×4、8×8、16×16三種運算。
當sel信號高電平有效的時候，表示模塊開始工作，blk配合輸入數據送入到IDCT模塊，其取值為00、01、10、11，分別表示了當前變換塊為4×4、8×8、16×16、32×32的情況。ps_i模塊的作用在于調整輸入數據的順序，如在計算IDCT4的時候，送入IDCT模塊的數據為x0、x1、x2、x3，但是由于復用了硬件模塊，需要經過ps_i模塊調序后變為x0、x8、x16、x24送入內部的IDCT4單元進行計算，在計算IDCT8的時候，在圖2中可以看到，IDCT8模塊復用了IDCT4作為計算單元的一部分，輸入數據為x0、x8、x16、x24，輸出結果作為偶部分，MCM4為4位常系數乘法部分，輸入數據為x4、x12、x20、x28，輸出結果作為奇部分，奇偶部分結果進行簡單的加減操作即可得到最終的結果，IDCT16和IDCT32運算過程與之類似。每次計算開始的時候啟動IDCT32模塊，輸出的結果為32個數據，因此需要ps_o模塊選擇有效數據輸出。
3 Transpose模塊
進行二維IDCT變換的時候需要在兩個IDCT變換單元之間使用轉置單元對中間結果進行行列轉置操作，本文的轉置操作過程如圖3所示，變換數據塊最大為32×32，所以使用32個16 bit的雙口RAM作為必要的數據存儲單元，為了減少對RAM頻繁操作，采用統一的地址寫入，列變換得到的數據依次寫入不同RAM單元的相同地址，在地址達到指示變換塊上限時，經過一個時鐘周期的延時后，利用模塊內部的有限狀態機FSM(Finite State Machine)按RAM0、RAM1、…、RAM31的順序讀取數據，由于采用了雙口RAM，定義的輸出端口位寬為512 bit，每個周期最多可以讀取32個數據，根據不同的變換塊指示標志，可以實現不同數據塊的轉置操作。
3.1 RAM讀取順序
宏觀上的轉置單元Transpose包含32個RAM，如何合理地讀取RAM是本設計要解決的一個問題，為了實現對不同變換數據塊的靈活操作，在寫入數據的時候，寫入地址單元采用統一地址寫入，即同時寫入多個RAM的相同地址，地址的寫滿通過數據塊尺寸指示標志blk判斷，這樣就簡化了多個地址的寫入控制邏輯。在讀取RAM的時候，使用FSM順序訪問RAM0~RAM31，blk指示當前需要讀取到的RAM編號，根據參考模型HM16.0[9]，定義每個數據位16 bit，每塊RAM有512 bit，輸出端口也定義為512 bit，每讀取16 bit即表示一個有效數據，這樣就保證了單周期讀取數據塊的所有行數據。
3.2 并行處理的數據調度
在全并行的結構中，轉置模塊在處理不同尺寸的數據塊時很容易發生數據覆蓋現象，即下一個數據塊到來的時候，當前數據塊較大時未能全部讀取出來，造成原來數據被下一個到來的數據覆蓋掉的現象。為解決這一問題，本文借鑒計算機指令中的流水線處理方式，數據調度如圖4所示，圖中方塊代表若干時鐘周期，Transpose處理周期中W表示寫入數據，R表示讀取數據，F表示數據轉置完畢，當前數據塊在轉置完成之后，Transpose模塊發出完成信號使能IDCT_2D模塊，即圖4中的F處，同時該信號使能外部的數據輸入單元發送下一數據塊，當前數據進行IDCT_2D運算的時候，下一數據塊進行IDCT_1D運算，這樣兩個IDCT模塊就不存在數據處理的空閑期，硬件利用率大大提高。
4 電路仿真與實驗結果分析
電路結構采用Verilog HDL設計，在Altera Arria II GX EP2AGX190FF35C4芯片上綜合通過，使用Modelsim進行仿真，并與HM標準模型中的結果進行比較，結果一致，證明本文設計的正確性。
在結構上，DCT與IDCT并無本質的區別，因此本文也選取了DCT的相關文獻作為參考，本文的資源占用率如表1所示。
由表1可以發現，本文設計的結構可以處理HEVC中多種變換塊尺寸，并且擁有較高的吞吐率。文獻[2]擁有較大的數據吞吐量，但是不能很好地處理HEVC中所有的變換塊，文獻[4]、文獻[7]采用面積優先的方式，單周期處理量較小，文獻[8]能夠實現對不同變換塊的一維DCT運算，且效率較高，但是并未對二維DCT變換進行很好地優化。本文在面積與速度之間做了平衡，在滿足實時處理的基礎上，盡可能地減少資源的消耗。設計結果表明，最大延時為41個時鐘周期，模塊固定的流水線延時為9個時鐘周期。為了可以對采樣率為4:2:0、分辨率為3 840×2 160、幀率為30幀/秒的視頻實時處理，滿足設計要求的電路工作時鐘最小為104 MHz(3 840×2 160×30×1.5/3.6)。設計結果完全滿足4k視頻處理的要求。
5 結論
本文提出了一種整數IDCT變換的FPGA設計，針對IDCT變換矩陣的特點，采用復用模塊的方法減少了硬件消耗。利用FPGA內嵌的RAM資源進行轉置，節約了其內部的寄存器資源，在滿足處理要求的基礎上盡量減少硬件消耗，充分利用結構特點，設計并行數據調度，提高了硬件的使用率，對工程應用具有一定的指導意義。
參考文獻
[1] SULLIVAN G J，OHM J R，HAN W J，et al.Overview of the high efficiency video coding(HEVC) standard [J].IEEE Transactions on Circuits and Systems for Video Technology，2012，22(12)：1649-1668.
[2] PARK J S，NAM W J，HAN S M，et al.2-D large inverse transform (16×16，32×32) for HEVC(high efficiency video coding)[J].Journal of Semiconductor Technology and Science(JSTS)，2012，12(2)：203-211.
[3] CONCEICAO R，SOUZA J C，JESKE R，et al.Hardware design for the 32×32 IDCT of the HEVC video coding standard[M].Symposium on Integrated Circuits and Systems Design. Curitiba；IEEE Press.2013：1-6.
[4] SHEN S，SHEN W W，SHEN Y，et al.A unified 4/8/16/32-point integer IDCT architecture for multiple video coding standards[M].IEEE International Conference on Multimedia and Expo.2012：788-793.
[5] 許亞軍，韓雪松，韓應征.AVS二維DCT變換的FPGA實現[J].電視技術，2013，37(11)：18-21.
[6] SZE V，BUDAGAVI M，J S G.High efficiency video coding(HEVC)-algorithms and architectures[M].Springer：2014.
[7] TIKEKAR M，HUANG C T，SZE V，et al.Energy and area-efficient harware implementation of HEVC inverse transform and dequantization[M].International Conference on Image Processing(ICIP).IEEE Press.2014：2100-2104.
[8] 楊啟洲，劉一清.基于HEVC的多長度DCT變換的VLSI設計[J].微電子學，2015，45(1)：100-103.
[9] Joint collaborative team on video coding(JCT-VC).HEVC Test Model HM-16.0[EB/OL].https：//hevc.hhi.fraunhofer.de/trac/hevc/browser/tags/HM-16.0.
作者信息:
黃友文，董 洋
（江西理工大學 信息工程學院，江西 贛州341000）