《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 設計應用 > 基于FPGA的電子變焦系統設計
基于FPGA的電子變焦系統設計
2015年電子技術應用第4期
梁 青1,李廣卿1,陳文藝2,田 科3
1.西安郵電大學 電子工程學院,陜西 西安710061; 2.西安郵電大學 物聯網與兩化融合研究院,陜西 西安710061; 3.京信通信系統(中國)有限公司 無線接入產品事業部,廣東 廣州510530
摘要: 針對數碼相機、手機等移動設備的特點,提出一種基于高分辨率傳感器的無損電子變焦模型,該模型同時克服了光學變焦模型和傳統電子變焦模型的缺陷,輸出圖像可以達到光學變焦的效果。針對圖像在縮放過程中的混疊現象,提出一種基于FPGA的抗混疊濾波和雙線性插值相結合的圖像縮放算法。通過MATLAB仿真表明,該算法得到的圖像質量較高,硬件實現簡單。
關鍵詞: 圖像 變焦 混疊 FPGA
中圖分類號: TN492
文獻標識碼: A
文章編號: 0258-7998(2015)04-0069-04
Electronic zoom system design based on the FPGA
Liang Qing1,Li Guangqing1,Chen Wenyi2,Tian Ke3
1.Department of Electronic Engineering,Xi′an University of Posts and Telecommunications, Xi′an 710061,China; 2.Internet of Things and Integration of IT Application and Industrialization Institute, Xi′an University of Posts and Telecommunications,Xi′an 710061 China; 3.Department of Wireless Access Products, Comba Telecom Systems(China) Co.,Ltd.,Guangzhou 510530 China
Abstract: First of all, according to the characteristics of digital cameras, mobile phones and other mobile devices, a nondestructive electronic zoom model based on high resolution sensors is proposed. The model overcomes the defects of optical zoom model and the traditional digital zoom model at the same time and the output image can achieve the effect of the optical zoom .Secondly a kind of image scaling algorithm based on FPGA combining anti-aliasing filter and bilinear interpolation is put forward to solve the aliasing phenomenon in the process of scaling the image. By Matlab simulation, the image quality of this algorithm is superior and the hardware implementation is simple.
Key words : image;zoom;aliasing;FPGA

  

0 引言

  在圖像處理領域中,變焦技術發揮著非常重要的作用,此技術已被廣泛應用于公共生活、社會安全、醫療設備以及生活的各個領域。目前有很多科研工作者開展了這方面的工作:Seung Hwan Lee等設計了一種基于色度、色差、強度模型的電子變焦算法,這種顏色模型可以改善輸出圖像的色彩,提高圖像的清晰度和圖像質量[1]。Lukac等提出了在Bayer模式上進行電子變焦,采用了一種彩色濾波陣列,可以去除圖像的馬賽克和塊效應[2]。本文針對相機、手機等移動設備的特點,在研究了光學變焦和傳統電子變焦缺陷的基礎上,提出一種基于FPGA的高分辨率傳感器無損電子變焦的系統設計方案,在不降低分辨率的前提下,對圖像進行縮放。該方案可以通過電子變焦的模式實現光學變焦的效果,克服了光學變焦結構復雜、價格昂貴的不足,具有很大的現實意義。

  縮放算法是本文基于FPGA的電子變焦系統設計的核心,目前應用于圖像縮放的傳統算法有:最近鄰域法、雙線性插值、雙三次插值等。最近鄰域法得到的圖像質量較差,雙三次插值實現復雜,雙線性插值算法為一般縮放引擎使用的算法,但是當縮放系數較大時,該算法也會出現由頻譜混疊帶來的鋸齒狀效果。基于傳統縮放算法的不足,本文提出一種基于抗混疊濾波的圖像縮放算法。該算法根據縮放系數不同先進行濾波然后再做插值運算,克服了圖像尺寸變化帶來的混疊效應,即使針對較大縮放系數的情況下仍可以得到高質量的圖像[3-5]。

1 變焦成像模型


001.jpg

  光學變焦是相機通過移動光學鏡頭來放大或縮小拍攝的對象,光學變焦倍數越大,能拍攝的景物就越遠。光學變焦示意圖如圖1所示。當感光器件在水平方向運動時,視角和焦距就會發生相應變化,較遠的景物變得清晰,讓人產生物體被拉近的感覺[6]。

002.jpg

  傳統電子變焦是采用插值處理方式把影像照片內某一區域的像素面積擴大到整個顯示窗口,從而達到放大目的,傳統電子變焦示意圖如圖2所示。這種方法如同用圖像處理軟件把圖片的像素放大一樣,由于焦距沒有發生改變,圖像的清晰度會有一定程度的下降[6]。

003.jpg

  本文提出的無損電子變焦模型采用大尺寸圖像傳感器采集圖像,確保采集較大視場角的圖像,提高變焦倍數。該模型的核心部分就是將全景圖像“濃縮”到顯示圖像,即過采樣過程。無損電子變焦示意圖如圖3所示,正常顯示時,將全景圖像縮小到顯示圖像輸出,此時輸出的圖像為最大視場角圖像;當放大圖像時,過采樣程度就會減小,將較小的圖像縮小到顯示圖像輸出;直到放大到最大時,不需要過采樣,直接將原圖中心顯示圖像大小的圖像輸出。這個過程不同于傳統電子變焦的插值計算法,不會損失圖像精度和清晰度。

2 變焦系統基本結構


004.jpg

  電子變焦系統功能框圖如圖4所示。根據設計要求,系統被劃分為5個組成模塊:視頻圖像輸入模塊、預濾波模塊、雙線性插值模塊、縮放控制模塊、視頻圖像輸出模塊。

005.jpg

  FPGA作為系統的核心控制芯片,采用預濾波和雙線性插值相結合的方法進行圖像縮小,通過縮放系數的變化控制預濾波方式和插值位置。外部設備采集2 560×1 440分辨率的視頻圖像,縮放控制模塊根據縮放系數控制預濾波模塊選擇合適的濾波模板,以及為雙線性插值模塊提供插值坐標和插值系數。最終視頻圖像經VGA輸出320×240分辨率的視頻圖像,從而實現6倍光學變焦的效果。預濾波模塊根據縮放系數選擇不同的濾波器進行濾波,從而消除圖像縮小帶來的頻譜混疊。插值模塊采用雙線性插值法實現圖像的縮放??刂颇K根據縮放系數的變化,為預濾波模塊選擇合適的濾波器,同時控制插值模塊生成合適的插值坐標和插值系數,實現全局控制。

3 縮放算法分析

  3.1 頻譜混疊

  1.png

  式(1)中x(t)為連續信號,x(n)為抽樣信號,抽樣間隔為T,若將抽樣頻率fs減小到(1/M)fs,最簡單的方法是將x(n)中每M個點抽取一個,組成一個新的序列x′(n):

  x′(n)=x(Mn),n=-∞~+∞(2)

  上述過程為減采樣過程,圖5所示為抽樣頻率減小2倍的結果。

  下面討論x(n)和x′(n)的頻域關系,現定義一個中間序列x1(n):

  3.png

  式中p(n)是一脈沖串序列,它在M的整數倍處值為1,其余為0。

  顯然:

  4.png

  而

  5.png

  所以:

  6.png

  式中X′(ejw)和X(ejw)分別是x′(n)和x(n)的DTFT。從式(6)中可以看出,X′(ejw)是原信號頻譜X(ejw)先做M倍的擴展再在w軸上每隔2/M的移位疊加。由抽樣定理可知,在第一次對x(t)抽樣時要保證fs≥2fc(fc為x(n)的最高頻率,fs為抽樣頻率),則抽樣結果不會發生頻譜混疊[7]。當對x(n)作M倍抽取后,若保證x′(n)重建x(n),則X′(ejw)的一個周期(-/M~/M)也應等于X(ejw),這樣要求抽樣頻率fs≥2Mfc,如果不滿足將發生頻譜混疊。因此理想的抗混疊濾波器為:

  7.png

  3.2 頻譜混疊仿真

006.jpg

  數字圖像是通過對模擬圖像進行等間隔采樣得到的,需滿足采樣定理,即最高頻率在采樣頻率的1/2附近,因此一幅數字圖像中不同區域交界處的頻率在頻譜的附近[8]。本文采用環形圖像進行仿真,如圖6所示,該圖像為同心圓環,并且圓環從內到外的頻率在慢慢增加。通過對該圖像進行頻率分析,可以獲得該圖像的頻譜特性。首先進行一維數據的頻譜混疊分析,然后推廣到二維圖像。

  對于一維頻譜,抽取該圖像的中間一行進行分析,圖像的大小為301×301像素,抽取第150行數據進行分析,記為x(k),對其進行一維離散傅里葉變換記為X(K),時域及頻域顯示如圖7所示,其中時域和頻域都進行了歸一化處理。

007.jpg

  從頻域可以看出,圖像的信息集中在低頻區域,主要在[-0.5,0.5]之間,高頻區域信息較少。首先,直接對該數據進行3倍減采樣,求其DTFT并觀察其頻譜,直接減采樣頻譜圖如圖8所示;其次,用凱賽窗設計一個FIR低通濾波器,截止頻率為0.3,階數為30,對該數據進行濾波后再求其DTFT,觀察濾波后減采樣頻譜如圖9所示。從頻譜圖中可以發現直接減采樣的數據發生了嚴重的頻譜混疊現象,而經過低通濾波再減采樣的數據沒有發生頻譜混疊,只是頻譜有所擴展。

010.jpg

  同樣推廣到二維圖像,對上述圖像縮小3倍。首先,直接采用最鄰近插值的方法將圖像縮小3倍,直接減采樣如圖10所示;其次,使用窗函數法設計一個低通濾波器,階數為21階,截止頻率0.3,對圖像進行低通濾波,然后再使用最鄰近插值縮小圖像,濾波后減采樣效果如圖11所示。對比兩幅圖可知,直接減采樣圖像產生了混疊,有明顯的鋸齒現象,濾波后減采樣圖像沒有發生混疊,圖像平滑,但是因為使用了低通濾波器使高頻信息受損,因此需要設計合適的濾波器,既要抑制混疊又要保留適當的高頻信息。

011.jpg

  3.3 濾波器設計

  本文的縮放模塊是采用先濾波、后采樣的方式,對每種縮放系數采用合適的抗混疊濾波器。根據FPGA的內部結構以及輸入輸出圖像的大小,縮放模塊的縮放系數選取1~1/6(約64/64~11/64),這樣可分為53級縮放。基于FPGA硬件存儲資源的考慮,不可能每種縮放系數都采用不同的濾波器,因此當縮放系數在一定范圍變化時采用同一種濾波器。本文設計使用兩級濾波的形式,產生多種不同的濾波器,根據縮放系數的大小選擇濾波系數和濾波級數。濾波器結構如圖12所示。具體分為5個系數范圍,在這5個系數范圍分別采用合適的濾波器,使用預濾波與雙線性插值相結合的方法進行圖像縮放。

012.jpg

  采用兩個濾波器模板,實現多種組合,可以應對不同的縮放系數。本文選用圖13所示的兩個濾波器模板進行濾波,實現5種不同組合,分別對應5種縮放范圍。

  通過理論分析和仿真研究得到以下結論(代表卷積):

  }3SXH3O88L$A84E%DY``GYE.jpg

4 圖像評價

  本文研究的是圖像縮小,首先將原圖縮小到目標圖像,其次在PC機上使用Lanczos插值算法縮放到相同尺寸,以該圖像作為參照圖像,進行客觀的比較。Lanczos插值算法是比較好的圖像處理算法,既可以抑制圖像混疊又可以保護圖像的邊緣,在混疊和銳化之間進行了權衡,通過實驗發現采用該算法進行圖像縮放可以得到較好的效果[9]。本文選取6幅有代表性的圖像,如:風景、人物、房屋等進行綜合評價,比較圖像質量。對選取的圖像分別采用最鄰近插值、雙線性插值和三次立方插值以及抗混疊濾波縮放算法進行縮放,從主觀和客觀角度上進行評價。

  4.1 主觀評價

  圖14是將原圖縮小3倍的部分圖像,可以發現最鄰近插值得到的圖像鋸齒現象加重,圖像變得更加銳利,雙線性插值算法也會出現輕微的鋸齒現象,圖像較模糊;抗混疊濾波縮放算法得到的圖像在直觀上要優于前兩種算法,圖像較清晰。

  4.2 客觀評價

  分別對上述6幅圖像進行縮放,比較在各種算法下的峰值信噪比,結果如表1、表2所示。

013.jpg


  當縮放系數不是很大時,由于縮放前進行了預濾波,在客觀比較上峰值信噪比可能不如雙線性和立方插值,但是由于算法插值前進行了預濾波,這樣有效抑制了頻譜混疊的發生,從直觀上看優于最鄰近插值和雙線性插值,隨著縮放系數的增大抗混疊濾波縮放算法得到的峰值信噪比提高,明顯優于雙線性和立方插值算法。

5 小結

  本文提出了一種基于高分辨率傳感器的無損電子變焦模型,該技術區別于傳統的電子變焦模型,變焦過程不損失圖像精度和清晰度,進而實現通過電子變焦達到光學變焦的效果??s放算法使用一種抗混疊濾波器和雙線性插值相結合的圖像縮放算法,該算法有效避免了圖像縮小帶來的混疊現象。從仿真中可以發現,當縮放系數較小時,由于雙線性插值存在低通濾波的效果,因此不需要再進行濾波,雙線性插值適應的縮放范圍為1~1/2。當縮放進一步擴大時,雙線性濾波已經不能滿足要求,這樣需要在插值前進行預濾波,本文使用兩級濾波結構產生多種濾波器,根據不同的縮放系數使用不同的濾波器。通過仿真比較,當縮放兩倍以上時,該算法優于雙線性和立方插值,同時硬件實現簡單。

  參考文獻

  [1] Seung Hwan Lee,Dong Hwan Koh,Yang Wang,et al.DigitalZoom based on HCI ColorModel(Hue-Chroma-Intensity)[C].Intelligent Systems Modelling & Simulation (ISMS),2013 4thInternational Conference on,29-31 Jan.2013.

  [2] LUKAC R,MARTIN K,PLATANOITIS K N.Digital camera  zooming based on unified CFA image processing steps[J].Consumer Electronics,IEEE Transactions on,2004,50(1):15-24.

  [3] 譚亮,孫俊喜,顧播宇,等.基于FPGA局部視頻圖像任意比例縮放系統[J].電視技術,2013(9):42-44.

  [4] 嚴利民,田鋒,顧裕燦.圖像縮放算法的研究及FPGA實現[J].儀表技術,2012(7).

  [5] Alakarhu Juha,Salmelin Eero.Partinen Nokia PureView oversampling technology proceedings of SPIE-The International Society for Optical Engineering,v8667,2013.

  [6] 王金華,嚴衛生,劉旭琳,等.基于視景通道的透鏡成像過程仿真技術研究[J].系統仿真學報ISTIC PKU,2010(9).

  [7] 賈中云.一種利用采樣率轉換方法的灰度圖像放大算法[J].杭州師范學院學報:自然科學版,2005(5):360-363.

  [8] 李秀英,楊杰,王麗平.用于改變圖像大小的M帶插值濾波器設計[J].現代電子技術,2005(9):28-29.

  [9] 張善文,戎蒙恬,李萍.基于非均勻采樣重構的圖像插值算法[J].信息技術,2011(3):1-4.


此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲欧美在线播放| 欧美精品日韩三级| 一区二区三区色| 久久精品日韩欧美| 亚洲欧美资源在线| 亚洲在线中文字幕| 亚洲午夜在线观看| 亚洲网在线观看| 中文日韩电影网站| 一区二区三欧美| 99视频精品免费观看| 亚洲理论电影网| 日韩视频在线播放| 一本色道久久加勒比88综合| 日韩午夜在线观看视频| 亚洲免费精彩视频| 99热精品在线| 亚洲一区不卡| 亚洲欧美日韩人成在线播放| 亚洲欧美国产毛片在线| 亚洲女人小视频在线观看| 午夜精品视频| 亚洲成色最大综合在线| 亚洲高清不卡一区| 亚洲夫妻自拍| 亚洲欧洲日产国产综合网| 亚洲破处大片| 99这里只有精品| 亚洲永久在线观看| 欧美中文在线观看| 久久久蜜臀国产一区二区| 久久这里只有精品视频首页| 欧美成人精品福利| 欧美日韩亚洲一区二区三区在线 | 亚洲精品国产系列| 日韩午夜av| 亚洲——在线| 久久精品观看| 亚洲乱码国产乱码精品精天堂| 亚洲精品视频免费在线观看| 在线视频亚洲一区| 欧美一区二区三区另类 | 日韩亚洲国产精品| 亚洲欧美日韩中文在线制服| 久久狠狠婷婷| 日韩一级欧洲| 欧美一区二区女人| 欧美国产另类| 国产精品一二一区| 在线精品视频免费观看| 夜夜夜久久久| 久久国产精品久久久久久久久久 | 欧美日本高清视频| 国产欧美日韩三区| 亚洲国产成人午夜在线一区| 99精品视频一区二区三区| 欧美一级理论片| 99re8这里有精品热视频免费 | 欧美精品亚洲精品| 国产精品入口福利| 亚洲高清不卡| 亚洲欧美成人在线| 亚洲免费成人| 欧美在线在线| 欧美另类高清视频在线| 国产日韩一区二区三区| 亚洲精品乱码久久久久久久久| 午夜视频一区| 一区二区电影免费在线观看| 久久国产直播| 欧美日韩精品是欧美日韩精品| 国产亚洲va综合人人澡精品| 日韩天堂在线视频| 久久精品一区二区三区不卡| 亚洲一区欧美激情| 欧美mv日韩mv国产网站app| 国产精品日韩专区| 亚洲精品午夜| 亚洲黄页一区| 欧美在线影院在线视频| 欧美三级黄美女| 亚洲高清资源| 欧美一区二区三区免费在线看| 亚洲一区二区三区三| 免费在线国产精品| 国产午夜精品一区二区三区欧美| 日韩午夜免费视频| 亚洲精品日韩在线观看| 久久久午夜电影| 国产精品亚洲激情| 日韩网站免费观看| 亚洲人成久久| 久久久久久电影| 国产精品专区一| 一区二区三区久久精品| 日韩视频精品在线观看| 麻豆精品一区二区综合av| 国产日韩亚洲| 亚洲欧美乱综合| 亚洲中字黄色| 欧美视频一区二区三区在线观看| 亚洲福利一区| 亚洲欧洲一区二区在线观看| 久久久久久999| 国产一区二区三区黄视频| 亚洲免费网址| 亚洲欧美日韩区| 国产精品成人在线| 99精品热视频只有精品10| 99国产精品国产精品久久| 欧美成人免费全部| 亚洲第一综合天堂另类专| 亚洲电影中文字幕| 老巨人导航500精品| 狠狠色丁香婷婷综合影院| 久久成人精品无人区| 久久久久久久欧美精品| 国产在线拍偷自揄拍精品| 欧美一区二区精品| 久久久成人网| 狠狠久久亚洲欧美专区| 亚洲高清不卡在线观看| 久久蜜桃资源一区二区老牛| 国产亚洲精品资源在线26u| 欧美一级电影久久| 久久一区二区精品| 在线欧美亚洲| 99视频有精品| 欧美视频中文一区二区三区在线观看 | 亚洲国产精品久久人人爱蜜臀| 久久亚洲一区二区| 在线观看欧美亚洲| 日韩午夜激情| 欧美日韩另类丝袜其他| 在线天堂一区av电影| 午夜精品999| 国产日韩精品在线播放| 欧美一区二区三区免费视| 老司机精品视频一区二区三区| 在线观看一区欧美| 一本大道久久a久久精二百| 欧美午夜精品理论片a级大开眼界| 一区二区三区精品在线| 欧美一区二区免费视频| 好吊成人免视频| 亚洲精选在线观看| 国产精品国码视频| 欧美一级视频精品观看| 另类尿喷潮videofree| 亚洲国产高清一区二区三区| 亚洲视频二区| 国产麻豆91精品| 亚洲第一页在线| 欧美日韩欧美一区二区| 亚洲欧美不卡| 男女av一区三区二区色多| 亚洲精品国产精品乱码不99按摩| 亚洲一卡二卡三卡四卡五卡| 国产日韩在线一区| 亚洲精品乱码久久久久久黑人| 欧美日韩一区二区在线| 性色av一区二区三区| 免费日韩成人| 亚洲午夜女主播在线直播| 久久久久.com| 日韩午夜av在线| 久久久噜噜噜久久狠狠50岁| 亚洲人成在线观看| 欧美一区二区视频在线观看| 在线看片欧美| 午夜精品久久久久久久蜜桃app| 狠狠干综合网| 亚洲一区二区三区在线播放| 国际精品欧美精品| 亚洲一区二区毛片| 黄色工厂这里只有精品| 亚洲视频精品| 国外视频精品毛片| 亚洲天堂视频在线观看| 韩国av一区二区| 亚洲一区综合| 亚洲国产精品电影在线观看| 午夜精品久久久久| 亚洲国产欧美日韩精品| 欧美一区二区三区四区高清 | 国产一区二区成人| 一区二区欧美日韩视频| 国产一区二区三区高清在线观看 | 久久这里只有| 亚洲综合不卡| 欧美日韩国产色综合一二三四 | 国产精品久久久一区二区| 亚洲黄色av| 国产精品资源在线观看| 亚洲精品在线二区| 激情国产一区二区| 欧美一区二区视频在线| 一区二区三区蜜桃网| 欧美刺激午夜性久久久久久久| 欧美一进一出视频|