2015年2月1日,來(lái)自中科院電子所、中科院微電子所、電子六所的等科研單位,華為、清華同方、大唐移動(dòng)、展訊通信等知名企業(yè),以及北京大學(xué)、北京航空航天大學(xué)、北京郵電大學(xué)、北京工業(yè)大學(xué)等高等院校的40余位視頻圖像處理愛好者和FPGA愛好者共聚一堂,參加了電子技術(shù)應(yīng)用?Tech-Workshop之“FPGA與圖像處理技術(shù)研討會(huì)”,共同打造工程師的圈子生活。
本次研討會(huì)上,來(lái)自清華大學(xué)電子工程系的副教授喬飛博士、Xilinx渠道FAE經(jīng)理張寧、NVIDIA高級(jí)客戶工程師雷昊、某CDN公司流媒體研發(fā)總監(jiān)劉岐與聽眾分享了當(dāng)前市場(chǎng)環(huán)境下圖像處理技術(shù)的最新發(fā)展趨勢(shì)以及FPGA在視頻圖像處理中的應(yīng)用。
智能圖像處理硬件加速關(guān)鍵技術(shù)
圖 清華大學(xué)電子工程系的副教授喬飛博士
喬飛博士所在的iVip項(xiàng)目組的研究方向是iVip(Integrated Vision, Intelligent Perception),其部分工作涉及的正是面向智能圖像信號(hào)處理的硬件加速技術(shù)與實(shí)現(xiàn)。他指出,多媒體傳感器網(wǎng)絡(luò)已經(jīng)成為未來(lái)的一個(gè)重要發(fā)展方向,無(wú)論在學(xué)術(shù)界還是工業(yè)界都得到了廣泛的應(yīng)用。我們通過(guò)在圖像傳感器節(jié)點(diǎn)上附加處理能力,使其具備一定的智能處理或信息提取的功能,并以此來(lái)解決存儲(chǔ)密集型應(yīng)用中單片F(xiàn)PGA處理能力不足的問(wèn)題。此外,喬飛博士還以好奇號(hào)火星車、玉兔號(hào)月球車、當(dāng)前市場(chǎng)上廣受關(guān)注的Google glass和未來(lái)會(huì)出現(xiàn)的接觸鏡為例,形象而生動(dòng)的說(shuō)明了智能圖像信號(hào)處理技術(shù)廣闊的應(yīng)用前景。
面對(duì)這些應(yīng)用場(chǎng)景,傳統(tǒng)的圖像和視頻感知設(shè)備存在多方面的問(wèn)題,例如,數(shù)據(jù)處理能力不足以應(yīng)對(duì)計(jì)算和存儲(chǔ)密集型應(yīng)用、帶寬不夠、功耗過(guò)高、安全、隱私和數(shù)據(jù)完整性無(wú)法保障等。對(duì)此,智能傳感器圖像采集設(shè)備的解決辦法是將服務(wù)器端的信號(hào)處理能力與分布式智能節(jié)點(diǎn)的處理能力做均衡與劃分,要求智能采集設(shè)備具有一定的處理能力,從而大幅降低傳輸?shù)男畔⒘?同時(shí),通過(guò)將傳感器和處理器集成在一起,可有效降低功耗與成本。喬飛博士表示,隨著CMOS工業(yè)的逐漸穩(wěn)定以及VLSI技術(shù)和計(jì)算機(jī)視覺技術(shù)的日益成熟,智能傳感器圖像采集設(shè)備成為必然趨勢(shì)。
喬飛博士指出,針對(duì)不同的應(yīng)用,在為智能圖像處理模塊選擇處理器時(shí)要考慮物理約束(尺寸、功耗、IO等)、設(shè)計(jì)約束(時(shí)間成本、金錢成本)、外圍電路的需求以及計(jì)算的約束(處理功耗、可編程性、軟硬件應(yīng)用靈活性)。之后,他比較了市場(chǎng)上幾種智能圖像處理模塊的實(shí)現(xiàn)方式。其中,集成ARM處理器的實(shí)現(xiàn)方案其攝像頭只可做運(yùn)動(dòng)檢測(cè)和簡(jiǎn)單特征的識(shí)別,集成SIMD處理器的實(shí)現(xiàn)方案功耗過(guò)高,相比這二者而言,基于FPGA實(shí)現(xiàn)的智能圖像處理模塊成為更佳的選擇。
最后,喬飛博士詳細(xì)介紹了基于FPGA的硬件加速實(shí)現(xiàn)的雙目立體視覺系統(tǒng)。基本原理是從兩個(gè)視點(diǎn)觀察同一場(chǎng)景,獲取不同視角下的圖像對(duì),通過(guò)三角測(cè)量原理,匹配相應(yīng)的像素點(diǎn),計(jì)算視差,達(dá)到重構(gòu)場(chǎng)景三維幾何信息的目的。可應(yīng)用于機(jī)器人自主導(dǎo)航、航空和遙感測(cè)繪、工業(yè)自動(dòng)化檢測(cè)、醫(yī)學(xué)成像和虛擬現(xiàn)實(shí)等領(lǐng)域。
Xilinx視頻圖像處理解決方案
圖 Xilinx渠道FAE經(jīng)理張寧
與喬飛博士提出的“Smart Camera”不謀而合,Xilinx也早已提出“Smart Vision”的概念。張寧指出,無(wú)論是在汽車輔助駕駛ADAS、無(wú)人機(jī)UAV、安防監(jiān)控還是機(jī)器視覺等應(yīng)用領(lǐng)域,實(shí)時(shí)分析都已經(jīng)成為一個(gè)主流的需求。同時(shí),在顯示端,使用者也對(duì)顯示畫面提出超高清、3D或其他特殊顯示特性的需求。其中,Xilinx尤為關(guān)注實(shí)時(shí)智能分析、智能傳輸和情景式顯示。針對(duì)汽車、機(jī)器視覺、廣播與醫(yī)療、安防監(jiān)控等不同的應(yīng)用領(lǐng)域,Xilinx都提出了不同的應(yīng)用關(guān)注點(diǎn),以解決智能視頻各環(huán)節(jié)(包括建立連接、編碼、視頻處理、圖像處理、傳輸、安全等)出現(xiàn)的問(wèn)題。
張寧稱Xilinx為智能視頻領(lǐng)域的領(lǐng)導(dǎo)者。他表示, Xilinx的28nm產(chǎn)品完美支持智能視頻圖像的處理與傳輸、顯示,在該領(lǐng)域,Xilinx擁有3500家客戶,Xilin為他們提供優(yōu)化的解決方案,包括IP、工具和FPGA器件。
“為更好地支持Smart Vision,Xilinx努力做好兩方面的工作。一方面是SmartCore,基于Xilinx的IP、工具和器件;另一方面是軟件層面,即系統(tǒng)管理、控制與通信、視頻分析等工作。”張寧非常肯定地說(shuō):“相比ASICs和ASSPs,Xilinx的完全可編程解決方案要更加智能。”
手機(jī)平板上的Camera Tuning
圖 NVIDIA高級(jí)客戶工程師雷昊
雷昊的演講生動(dòng)而形象,內(nèi)容涉及Camera調(diào)優(yōu)的方方面面,包括成像系統(tǒng)的基本結(jié)構(gòu)、手機(jī)平板成像系統(tǒng)的特征、如何評(píng)價(jià)一個(gè)成像系統(tǒng)以及Camera Tuning的基本流程。
“一個(gè)Camera從硬件上來(lái)說(shuō)由光學(xué)部件(鏡頭)、機(jī)械部件、圖像傳感器、圖像處理器和微控制器/應(yīng)用處理器組成。”雷昊分析道:“而手機(jī)或平板上的Camera具有定焦(不可換鏡頭且鏡頭質(zhì)量不高)、模組之間差異相對(duì)大、后焦距短、傳感器小、單位像素面積小的特點(diǎn)。”為了讓聽眾對(duì)手機(jī)或平板上的Camera有更深刻的了解,雷昊對(duì)單反相機(jī)和手機(jī)上常用的Medium Format、Full Frame、APS-H、APS-C、4/3、1‘’、1/1.63‘’、1/2.3‘’、1/3.2‘’等幾種規(guī)格的Camera做了參數(shù)與性能的對(duì)比。
雷昊指出,圖像的質(zhì)量與鏡頭、傳感器、ISP算法緊密相關(guān)。評(píng)價(jià)圖像質(zhì)量的基本客觀參數(shù)有清晰度、紋理細(xì)節(jié)、噪聲、動(dòng)態(tài)范圍、色彩還原和鏡頭畸變。他表示:“一個(gè)完整的Camera Tuning流程,由驅(qū)動(dòng)開發(fā)、挑選典型模組、基于典型模組生成基準(zhǔn)的ISP參數(shù)、客觀標(biāo)準(zhǔn)測(cè)試、細(xì)調(diào)ISP參數(shù)使客觀測(cè)試結(jié)果最優(yōu)、實(shí)際場(chǎng)景測(cè)試主觀效果和工廠校準(zhǔn)多個(gè)環(huán)節(jié)組成。”最后,雷昊介紹了Camera Tuning的軟件和工具,包括Imatest和DxO Analyzer兩款Camera Tuning的常用軟件以及24-patch ColorChecker、18% gray card、DxO Checkerboard、DxO Dots target和Kodak Q-13/14幾款Camera Tuning涉及到的工具。
基于Linux的FFMPEG
圖 某CDN公司流媒體研發(fā)總監(jiān)劉岐
劉岐就基于Linux的FFMPEG進(jìn)行了深入剖析,向聽眾描述了FFMPEG實(shí)現(xiàn)的轉(zhuǎn)碼系統(tǒng)、流媒體直播與點(diǎn)播以及流媒體應(yīng)用場(chǎng)景。
劉岐從FFMPEG的起源談起,所謂FFMPEG是一套由法國(guó)著名程序員Fabrice Bellard于2000年發(fā)起創(chuàng)建的開源項(xiàng)目,可以用來(lái)記錄、轉(zhuǎn)換數(shù)字音頻、視頻,并能將其轉(zhuǎn)化為流的開源計(jì)算機(jī)程序。應(yīng)用該程序,工程師可進(jìn)行編解碼、容器封裝解析、AVIO、音頻原始數(shù)據(jù)轉(zhuǎn)換(重采樣)、視頻原始數(shù)據(jù)轉(zhuǎn)換(色彩空間轉(zhuǎn)換)、音視頻處理(AVFilter)及后期處理(PostProc)。
“互聯(lián)網(wǎng)視頻可簡(jiǎn)單的分為點(diǎn)播和直播,互聯(lián)網(wǎng)多媒體點(diǎn)播應(yīng)用到的協(xié)議有RTMP和HTTP(HLS、HTTP+FLV、HDS),互聯(lián)網(wǎng)多媒體直播應(yīng)用到的協(xié)議有HTTP。” 劉岐比較了這些協(xié)議的優(yōu)缺點(diǎn),并指出,FFMPEG均能對(duì)其提供良好的支持。
共同的興趣愛好使得現(xiàn)場(chǎng)的互動(dòng)交流愉快而熱烈。至此,一場(chǎng)關(guān)于FPGA與圖像處理的盛會(huì)圓滿落下帷幕。下一站,《電子技術(shù)應(yīng)用》將攜手汽車電子行業(yè)資深人士,于上海舉辦電子技術(shù)應(yīng)用?Tech-Workshop之“新能源汽車充電技術(shù)”,繼續(xù)持力打造工程師的圈子生活!
workshop視頻觀看: