??? 摘? 要: 應(yīng)用VerilogHDL在FPGA中實現(xiàn)了視頻增強算法,設(shè)計了視頻增強算法所需的輔助功能,包括視頻編解碼控制、SRAM訪問仲裁控制及色度空間變換控制,用Matlab進行了視頻增強的仿真,優(yōu)化了視頻增強算法的參數(shù)。?

??? 關(guān)鍵詞: 工業(yè)監(jiān)控;視頻增強;視頻識別;數(shù)字視頻;色度空間變換?

?

??? 視頻監(jiān)控得以廣泛應(yīng)用的主要條件是網(wǎng)絡(luò)帶寬、計算機處理能力和存儲容量的迅速提高以及各種視頻信息處理技術(shù)的涌現(xiàn)^[1]。但目前絕大部分視頻監(jiān)控應(yīng)用缺乏對所記錄視頻數(shù)據(jù)的深層處理,其原因是目前視頻數(shù)據(jù)主要靠人工監(jiān)視分析,人工無法應(yīng)對大量、實時的視頻數(shù)據(jù)^[2]。所以市場迫切呼喚實用的視頻識別技術(shù)^[3],網(wǎng)絡(luò)巨頭Google已經(jīng)在視頻識別上大量投入,時代華納、迪士尼也正在合作開發(fā)新的視頻識別應(yīng)用,微軟也宣布將把視頻識別技術(shù)應(yīng)用于最新的XBOX游戲引擎,讓用戶體驗全新的“自然控制方式”。但不管采用何種算法,視頻質(zhì)量是影響視頻識別的最重要因素,特別是一些高速工業(yè)監(jiān)控、交通流監(jiān)控,原始視頻質(zhì)量不易提高,而視頻增強處理是后期提升視頻質(zhì)量的有效手段。本文論述視頻增強處理算法的高速實現(xiàn)方法,即使用現(xiàn)場可編程邏輯器件FPGA的并行邏輯處理能力實時實現(xiàn)視頻增強處理的各個環(huán)節(jié),為后期視頻識別應(yīng)用提供在線數(shù)據(jù)前處理。?

1 視頻增強處理系統(tǒng)硬件結(jié)構(gòu)?

??? 視頻增強對硬件處理速度的要求較高,使用傳統(tǒng)的單CPU或DSP很難獲得較高性價比,而FPGA由于內(nèi)部集成了多個可并行工作的高速有符號乘法器而在視頻處理中具有明顯的優(yōu)勢。FPGA中資源控制的靈活性和并行特點體現(xiàn)在并行邏輯運算、并行多SRAM訪問控制和外圍模擬信號解碼器件接口的并行控制上。為快速實現(xiàn)并驗證本文所述視頻增強處理的效果,使用了Xilinx公司的FPGA多媒體開發(fā)板(Microblaze & Multimedia Demonstration Board,No.0381112)^[4]。開發(fā)板集成了測試所用的所有硬件資源,其總體結(jié)構(gòu)如圖1所示。?

?

?

??? 開發(fā)板核心器件為Xilinx公司的FPGA芯片Vertex-II(XC2V2000),還包含了多媒體和人機接口所用的外圍器件,包括視頻輸入采集芯片、視頻輸出驅(qū)動芯片、外圍SRAM存儲器、AC97音頻編解碼器、以太網(wǎng)接口、RS232接口、LED指示燈和鍵盤接口。FPGA的配置采用可進行多版本控制的CF卡為存儲介質(zhì),配置芯片為Xilinx SystemACE。所有的視頻增強處理和與外圍器件接口的功能使用硬件描述語言VerilogHDL開發(fā),VerilogHDL代碼經(jīng)編譯后使用JTAG調(diào)試器下載到XC2V2000芯片中,同時也可使用CF卡存儲8份測試代碼進行自動加載,分版本調(diào)試,開發(fā)板上沒有CPU,所有的邏輯處理由FPGA實現(xiàn)。板上還配置了5塊NtSRAM(型號K7N163601M),NtSRAM是三星公司推出的無周轉(zhuǎn)隨機存儲器,即讀寫采用單周期操作,提高了存取速度。每塊NtSRAM都用單獨的地址總線、數(shù)據(jù)總線和控制總線直接與FPGA連接,保證了5個SRAM可同時作為視頻高速緩存區(qū)使用,保證了并行性。K7N163601M為100引腳芯片,5片SRAM消耗了480條FPGA引腳,XC2V2000共有896條引腳。開發(fā)板提供的視頻編解碼器件也為算法驗證提供了條件。?

2 視頻增強處理算法的Matlab仿真?

??? 視頻增強處理算法分為7部分,分別為視頻運動補償、幀內(nèi)圖像的邊緣銳化、數(shù)字亮度瞬態(tài)增強、數(shù)字色彩瞬態(tài)增強、亮度對比度調(diào)整、色度飽和度調(diào)整、黑級擴展。這些處理在測試系統(tǒng)中需要并行進行,以保證視頻流的實時性。為驗證視頻增強算法的可行性,在進行VerilogHDL設(shè)計實現(xiàn)之前進行了Matlab仿真。仿真程序使用Matlab的圖形界面開發(fā)環(huán)境GUIDE(Graphic User Interface Development Environment)完成,實現(xiàn)的視頻增強功能模塊如圖2所示,其中只有視頻運動補償沒有進行仿真。?

?

?

??? 圖2所示各處理環(huán)節(jié)的功能描述如表1所示。其中峰值濾波算法實現(xiàn)方法如下:以同一行內(nèi)5個像素點YUV色度空間的亮度信號Y為周期,編號為Y₀,Y₁,Y₂,Y₃,Y₄,分別設(shè)計低通、帶通和高通濾波器Y_LP,Y_BP,Y_HP:?

??? Y_LP=(Y₀+4×Y₁+6×Y₂+4×Y₃+Y₄)/16?????????????????????? (1)?

??? Y_BP=(-Y₀+2×Y₂-Y₄)/8?????????????????????????????????? (2)?

??? Y_HP=(Y₀-4×Y₁+6×Y₂-4×Y₃+Y₄)/16?????????????????????? (3)?

??? 峰值濾波器的輸出為:?

??? Y₂′=Y₂+f_C(Y_HBPS)????????????????????????????????????? (4)?

??? 其中:Y_HBPS=k_bp×Y_BP+k_hp×Y_HP-Y_BP-Y_HP?

???????? k_bp=k_bpw/2^(klp)?

???????? k_hp=k_hpw/2^(klp)?

?????

式中k_hpw是高通濾波系數(shù),k_bpw是帶通濾波系數(shù),k_lp是低通濾波系統(tǒng),Y_gate是濾波輸出閾值。?

??? 視頻增強算法中黑級擴展算法如公式(6)所示,當(dāng)亮度低于一個域值時,輸出亮度信號迅速減小,表現(xiàn)為黑到一定程度后的黑色變得更黑。?

??????

其中Y_in為輸入亮度信號,k為黑級擴展比例系數(shù),Y_Gate為擴展閾值。?

?

?

??? Matlab仿真軟件界面如圖3所示,其中峰值濾波器、DLTI、DCTI、亮度對比度調(diào)整、色度飽和度調(diào)整、黑級擴展6部分增強算法的系數(shù)都可以動態(tài)調(diào)整來觀察增強的效果,從而確定最佳增強參數(shù)。為測試對不同類型視頻圖像的增強效果,軟件中設(shè)計了圖像選擇功能,備選圖像中有加入各種噪聲和模糊化的測試圖像,仿真測試表明,當(dāng)參數(shù)調(diào)整合適后,增強效果明顯。?

?

?

3 視頻增強處理算法的VerilogHDL設(shè)計?

??? 測試視頻增強所用視頻信號源由DVD播放機提供,模擬視頻信號通過S端子接入開發(fā)板,通過ADV7185解碼成數(shù)字視頻信號接入FPGA,數(shù)字視頻信號經(jīng)過增強處理后由FMS3810視頻DAC轉(zhuǎn)換為模擬視頻信號,輸出到SVGA顯示器進行觀察。SVGA輸出僅測試時使用,當(dāng)視頻增強系統(tǒng)作為視頻識別前處理方式工作時,增強的數(shù)字視頻信號將以數(shù)字方式直接傳輸?shù)揭曨l識別單元。視頻增強處理算法充分利用了Vertex-II的并行數(shù)字信號處理功能,XC2V2000集成了56個18bit高速有符號乘法器和336KB快速分布式RAM,便于實現(xiàn)各種增強算法的并行處理和數(shù)據(jù)緩沖。視頻增強算法及其輔助處理的VerilogHDL實現(xiàn)結(jié)構(gòu)如圖4所示,格式為CCIR601標準的視頻信號經(jīng)輸入解碼處理后存儲于三個NtSRAM緩沖區(qū)。視頻增強系統(tǒng)中設(shè)置一個行緩沖區(qū),采用FPGA內(nèi)部集成的分布式雙端口SRAM實現(xiàn),NtSRAM顯示緩沖區(qū)中的數(shù)據(jù)被逐行傳輸?shù)叫芯彌_區(qū)中,三個NtSRAM緩沖區(qū)由三個對應(yīng)的控制器管理,數(shù)據(jù)需要通過讀請求獲得。讀請求控制功能由圖4中的數(shù)據(jù)請求控制模塊實現(xiàn),當(dāng)此模塊在消隱期獲得經(jīng)過同步了的NtSRAM緩沖區(qū)就緒信號后,開始選定這一緩沖區(qū),并產(chǎn)生數(shù)據(jù)讀請求信號。然后NtSRAM控制器按照請求信號的目的地址、源地址和數(shù)據(jù)長度將顯示數(shù)據(jù)送到行緩沖區(qū)SRAM中。行緩沖區(qū)中的數(shù)據(jù)按照顯示器輸出信號的時序輸出,即在每個有效行產(chǎn)生行緩沖區(qū)的連續(xù)增量地址信號,將YUV像素信號讀出,再送入圖像增強模塊,圖像增強模塊的輸出信號送入YUV-RGB轉(zhuǎn)換模塊中,然后將RGB信號接到SVGA驅(qū)動器FMS3810的D/A中,產(chǎn)生模擬的顏色信號。其中顯示時序控制由SVGA時序控制模塊產(chǎn)生。?

?

?

??? 圖4中YUV信號是位寬為8bit的數(shù)字信號,其編碼格式符合數(shù)字演播室標準ITU- RRec.BT601。YUV信號經(jīng)色度空間變換算法轉(zhuǎn)換為RGB信號,輸出到SVGA,顯示像素時鐘頻率為54MHz。實現(xiàn)上述功能的硬件時間延遲為6個時鐘周期,其速度是使用嵌入式處理器或單個DSP系統(tǒng)難以實現(xiàn)的。?

??? 本文應(yīng)用VerilogHDL硬件描述語言在Xilinx的XC2V2000-FPGA中實現(xiàn)了視頻增強算法。經(jīng)使用不同畫質(zhì)的視頻碟片用DVD播放器作為信號源進行測試,視頻增強效果明顯,可為后期視頻識別提供較好的信息基礎(chǔ)。在算法實現(xiàn)中,Matlab軟件仿真對視頻增強算法的參數(shù)優(yōu)化起到了決定性作用,凸顯了仿真對系統(tǒng)實現(xiàn)的指導(dǎo)作用。?

參考文獻?

[1] 阮秋琦.數(shù)字圖像處理學(xué).北京:電子工業(yè)出版社,2001.?

[2] TEKALP A.M著;崔之祜,江春,陳麗鑫譯.數(shù)字視頻處理.北京:電子工業(yè)出版社,1998.?

[3] BENNETT Eric P,Leonard McMillan,Video enhancement using per-pixel virtual exposures,Proceedings of ACM SIGGRAPH 2005(NY,USA),2005,124(3).?