來自德國哈索普拉特納研究院 (Hasso Plattner Institute) 的研究者近日發(fā)布論文，介紹了他們提出的訓(xùn)練二值神經(jīng)網(wǎng)絡(luò)新方法。該方法不使用以往研究通過全精度模型得到的先驗(yàn)知識(shí)和復(fù)雜訓(xùn)練策略，也能實(shí)現(xiàn)目前準(zhǔn)確率最佳的二值神經(jīng)網(wǎng)絡(luò)。
引言
現(xiàn)在，日常生活中許多工作的自動(dòng)化處理已取得重要的研究進(jìn)展──從家用掃地機(jī)器人到工業(yè)生產(chǎn)線機(jī)器人，許多工作已經(jīng)實(shí)現(xiàn)高度自動(dòng)化。其他技術(shù)（如自動(dòng)駕駛汽車）目前正處于發(fā)展過程中，并且強(qiáng)烈依賴于機(jī)器學(xué)習(xí)解決方案。智能手機(jī)上采用深度學(xué)習(xí)技術(shù)處理各種任務(wù)的 APP 數(shù)量一直保持快速增長，且未來仍將繼續(xù)增長。所有這些設(shè)備的算力有限，通常要努力最小化能耗，但卻有許多機(jī)器學(xué)習(xí)的應(yīng)用場景。
以全自動(dòng)駕駛汽車為例，保證實(shí)時(shí)圖像處理同時(shí)達(dá)到高精度是系統(tǒng)關(guān)鍵。此外，由于該模式下很難保證穩(wěn)定的低延遲網(wǎng)絡(luò)連接，因此圖像處理系統(tǒng)需配置于汽車內(nèi)部。該配置要求雖然會(huì)限制可支配計(jì)算力及內(nèi)存，但也將從低能耗中獲取收益。最有希望解決上述問題的技術(shù)之一就是二值神經(jīng)網(wǎng)絡(luò)（Binary Neural Network，BNN）。在 BNN 中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）中常用的全精度權(quán)重被替換成二值權(quán)重。這使得存儲(chǔ)空間理論上可壓縮 32 倍，使 CPU only 架構(gòu)能夠完成更高效的推斷。
本文的研究成果概括如下：
本文提出了一種訓(xùn)練二值模型的簡單策略，不需要使用預(yù)訓(xùn)練全精度模型。
實(shí)驗(yàn)表明，該策略并未得益于其他常用方法（如 scaling factor 或自定義梯度計(jì)算）。
本文表明快捷連接（shortcut connection）數(shù)的增加能夠顯著改善 BNN 的分類準(zhǔn)確率，并介紹了一種新方法：基于密集快捷連接（dense shortcut connection）創(chuàng)建有效的二值模型。
針對不同模型架構(gòu)及規(guī)模，本文提出的方法較其他方法達(dá)到當(dāng)前最優(yōu)的準(zhǔn)確率。
網(wǎng)絡(luò)架構(gòu)
在研究模型架構(gòu)前，我們必須考慮 BNN 的主要缺點(diǎn)：首先，相較于全精度網(wǎng)絡(luò)，BNN 的信息密度理論上是前者的 1/32。研究表明，32 位與 8 位網(wǎng)絡(luò)之間的差別不大，且 8 位網(wǎng)絡(luò)的準(zhǔn)確率水平幾乎與全精度網(wǎng)絡(luò)相同 [3]。然而，bit-width 降低到 4 位甚至 1 位（二進(jìn)制）時(shí)，準(zhǔn)確率會(huì)明顯下降 [8, 20]。因此，需要借助其他技術(shù)降低精度損失，例如增加通過網(wǎng)絡(luò)的信息流。我們認(rèn)為主要有三種方法能夠幫助保存信息，且無需擔(dān)心網(wǎng)絡(luò)二值化：
方法一：二值模型應(yīng)該盡可能在網(wǎng)絡(luò)中多使用快捷連接，使靠后的網(wǎng)絡(luò)層能夠使用靠前的網(wǎng)絡(luò)層所獲得的信息，不用擔(dān)心二值化引起的信息損失。殘差網(wǎng)絡(luò)（Residual Network）[4] 與密集連接網(wǎng)絡(luò)（Densely Connected Network）[7] 的全精度模型架構(gòu)都使用了類似快捷連接。此外，網(wǎng)絡(luò)層之間連接數(shù)的增加會(huì)改善模型性能，尤其是二值網(wǎng)絡(luò)。
圖 2：不同網(wǎng)絡(luò)架構(gòu)的單個(gè)構(gòu)造塊（加粗黑線的長度代表濾波器數(shù)量）。（a）帶有瓶頸層架構(gòu)的初始 ResNet 設(shè)計(jì)。少量濾波器會(huì)降低 BNN 的信息量。（b）無瓶頸層架構(gòu)的 ResNet 設(shè)計(jì)。濾波器數(shù)量增加，但這時(shí)卷積層由 3 變?yōu)?2。（c）添加額外快捷連接的 ResNet 架構(gòu) [15]。（d）初始 DenseNet 設(shè)計(jì)，第二層卷積操作中出現(xiàn)瓶頸層。（e）無瓶頸層架構(gòu)的 DenseNet 設(shè)計(jì)，兩次卷積操作變成一次 3 × 3 卷積操作。（f）本文提出的 DenseNet 設(shè)計(jì)，具備 N 個(gè)濾波器的卷積操作被替換成兩個(gè)層，每一層各使用 N/2 個(gè)濾波器。
方法二：與方法一思路相同，包含瓶頸層的網(wǎng)絡(luò)架構(gòu)始終是一項(xiàng)亟待解決的挑戰(zhàn)。瓶頸層架構(gòu)減少了濾波器數(shù)量，顯著降低了網(wǎng)絡(luò)層間的信息通路，最終使得 BNN 的信息流變少。因此，我們假定消除瓶頸層或增加瓶頸層的濾波器數(shù)量都能使 BNN 獲取最好的結(jié)果。
方法三：將二值網(wǎng)絡(luò)中的某些核心層替換為全精度層，以保存信息（提高模型準(zhǔn)確率）。原因如下：如果網(wǎng)絡(luò)層完成二值化，取消快捷連接，則（二值化產(chǎn)生的）信息損失無法在后續(xù)的網(wǎng)絡(luò)層中復(fù)原，這將影響第一層（卷積層）和最后一層（全連接層，輸出神經(jīng)元數(shù)與類別數(shù)相同）。第一層為整個(gè)網(wǎng)絡(luò)產(chǎn)生初始信息，最后一層使用最終信息進(jìn)行預(yù)測。因此，我們在第一層使用全精度層，最后一層使用全網(wǎng)絡(luò)架構(gòu)。關(guān)于該決策，我們采用了之前研究 [16,20] 的成果，其通過實(shí)驗(yàn)驗(yàn)證了第一層和最后一層的二值化將大幅降低準(zhǔn)確率，且節(jié)省的內(nèi)存及計(jì)算資源非常有限。深度網(wǎng)絡(luò)的另一個(gè)關(guān)鍵部分是下采樣卷積，其將網(wǎng)絡(luò)先前收集的所有信息轉(zhuǎn)化為規(guī)模較小且具備更多通道的特征圖（該卷積通常步幅為 2，輸出通道數(shù)兩倍于輸入通道數(shù)）。下采樣過程中損失的的任何信息將不可恢復(fù)。因此，即便會(huì)增加模型規(guī)模和運(yùn)算次數(shù)，下采樣層是否應(yīng)該被替換為全精度層始終需要仔細(xì)權(quán)衡。
圖 3：ResNet 與 DenseNet 的下采樣層。加粗黑線表示下采樣層，它可被替換為全精度層。如果在 DenseNet 中使用全精度下采樣層，則需要加大減少通道數(shù)量的縮減率（虛線表示沒有減少的通道數(shù)量）。
表 1：在 MNIST 和 CIFAR-10 數(shù)據(jù)集上，本文提出的二值模型的性能與 Yang 等人 [18] 結(jié)果的對比。
表 7：在 ImageNet 數(shù)據(jù)集上，本文方法與當(dāng)前最優(yōu)二值模型的對比。所有方法都在下采樣部分的卷積層中使用了全精度權(quán)重。
論文：Training Competitive Binary Neural Networks from Scratch
摘要：卷積神經(jīng)網(wǎng)絡(luò)已在不同應(yīng)用領(lǐng)域獲得令人矚目的成就。現(xiàn)有文獻(xiàn)已提出許多在移動(dòng)端和嵌入式設(shè)備中應(yīng)用 CNN 模型的方法。針對計(jì)算力低的設(shè)備，二值神經(jīng)網(wǎng)絡(luò)是一項(xiàng)特別有前景的技術(shù)。然而，從零開始訓(xùn)練準(zhǔn)確的二值模型仍是一項(xiàng)挑戰(zhàn)。之前的研究工作通常使用全精度模型產(chǎn)生的先驗(yàn)知識(shí)與復(fù)雜的訓(xùn)練策略。本研究關(guān)注如何在不使用類似先驗(yàn)知識(shí)與復(fù)雜訓(xùn)練策略的前提下，改善二值神經(jīng)網(wǎng)絡(luò)的性能。實(shí)驗(yàn)表明，在標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集上，本文提出的方法能達(dá)到當(dāng)前最優(yōu)水平。此外，據(jù)我們所知，我們首次成功地將密集連接網(wǎng)絡(luò)架構(gòu)應(yīng)用于二值網(wǎng)絡(luò)，提高了當(dāng)前最優(yōu)的性能。