《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 設計應用 > 基于權值交互思想的卷積神經網絡量化算法
基于權值交互思想的卷積神經網絡量化算法
2020年電子技術應用第10期
肖國麟,楊春玲,陳 宇
哈爾濱工業大學 電氣工程及自動化學院,黑龍江 哈爾濱150001
摘要: 傳統的卷積神經網絡量化算法廣泛使用對稱均勻量化操作對模型權值進行量化,沒有考慮到相鄰權值量化之間的相互關系,即上一個權值的量化操作產生的量化噪聲可以通過調整之后權值的量化方向加以彌補。針對上述問題,提出了一種基于權值交互思想的三值卷積神經網絡量化算法,達到了16倍的模型壓縮比,以ImageNet作為數據集,量化后的AlexNet和ResNet-18網絡上模型預測準確率只下降了不到3%。該方法達到了較高的模型壓縮比,具有較高的精度,可以用于將卷積神經網絡移植到計算資源有限的移動端平臺上。
中圖分類號: TN911.73;TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.200263
中文引用格式: 肖國麟,楊春玲,陳宇. 基于權值交互思想的卷積神經網絡量化算法[J].電子技術應用,2020,46(10):39-41.
英文引用格式: Xiao Guolin,Yang Chunling,Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique,2020,46(10):39-41.
Convolutional neural network quantization algorithm based on weight interaction ideas
Xiao Guolin,Yang Chunling,Chen Yu
School of Electrical Engineering and Automation,Harbin Institute of Technology,Harbin 150001,China
Abstract: Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.
Key words : ternary quantization;convolutional neural network;weight interaction;model compression

0 引言

    隨著深度學習的飛速發展,卷積神經網絡(CNN)被越來越多地應用于各個領域,如圖像識別[1-2]和目標檢測[3-4]。然而,隨著應用要求的提高,CNN的結構越來越深,導致其對于計算力和內存的需求大大提高。同時由于移動端設備的飛速發展,設備小型化的需求和市場不斷擴大,將CNN應用到小型移動端設備的需求也隨之增加。然而,受限于電源、內存及功耗,移動端平臺無法滿足高性能CNN對于硬件性能、功耗及內存的要求,因此優化CNN模型從而降低其對于計算資源的要求非常必要[5]

    CNN權值量化是目前一種主流的CNN模型優化方法,而三值量化其中一種能夠將權值由32位量化到2位(0,±α)從而達到16倍壓縮比的低位量化方法。自從2016年三值化網絡被LI F等人提出以來[6],其方法不斷改進,性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細粒度三值化網絡[7],將激活函數量化到8或4位,將權重量化至2位,將每N個權值分為一個組,分組量化,兩組之間相互獨立,其中N=2,4,8,16,…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓練的方式得到最優解,但相比原精度的32位卷積網絡仍有較大性能差距。目前的三值量化網絡性能不佳的其中一個問題在于都使用對稱均勻量化操作,只考慮了單個權值的量化,忽視了相鄰權值量化之間的相互關系,量化噪音直接相互累加,導致每一層網絡的噪聲積累過高,使得量化模型的預測準確率有極大的下降。

    針對此問題,本文提出一種新的CNN模型三值量化算法,基于權值交互思想,在同一卷積核內,將先前量化產生的積累噪聲作為一個負變量加入到下一個權值的量化操作中,使得對下一個權值朝著能減小積累噪聲的方向進行量化。然后,通過層級貪婪搜索算法逐層搜索局部最優解,得到效果近似最優解的優化解,降低搜索算法復雜度,極大減少搜索所需時間。實驗證明,相比于其他使用對稱均勻量化操作的算法,本文的算法極大地減小了由于量化操作導致的模型預測準確率的損失。




本文詳細內容請下載:http://www.jysgc.com/resource/share/2000003017




作者信息:

肖國麟,楊春玲,陳  宇

(哈爾濱工業大學 電氣工程及自動化學院,黑龍江 哈爾濱150001)

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 成人毛片免费网站| 欧产日产国产精品| 小小的日本电影在线观看免费版| 久操免费在线观看| 欧美成人精品第一区二区三区| 国产亚洲欧美一区二区三区| 色老板在线视频一区二区| 在线观看亚洲精品国产| √天堂中文www官网| 无翼日本全彩漫画大全全彩| 久久这里精品国产99丫e6| 欧美人妻aⅴ中文字幕| 亚洲第一区视频| 男女爱爱免费视频| 国产在线无码制服丝袜无码| h在线观看视频免费网站| 国产麻豆91网在线看| ankhazone度盘| 好男人好影视在线播放| 中文天堂最新版www官网在线| 日本三级香港三级人妇99| 久久精品人人做人人爽| 最新版天堂资源官网| 亚洲区精选网址| 欧美成人看片黄a免费看| 亚洲精品国产高清嫩草影院| 色老头综合免费视频| 国产在线视频一区| 国产女人18毛片水| 国产精品2018| m.jizz4.com| 小兔子被蛇用两根是什么小说| 中文字幕一区日韩精品| 日b视频免费看| 久久久久久国产精品免费免费| 日韩a级毛片免费视频| 久久精品国产亚洲av麻| 日韩电影免费观看| 久久黄色免费网站| 最近中文字幕免费mv视频7| 亚洲va久久久噜噜噜久久天堂|