近年來，我們目睹了“深度學習”的興起，這一領(lǐng)域試圖實現(xiàn)類似于人類行為的推理和智能水平。
人工神經(jīng)網(wǎng)絡（ANN）精煉出的數(shù)學公式是相對于能夠有效運行這些網(wǎng)絡的物理設(shè)備的開發(fā)而開發(fā)的。人們經(jīng)常拿計算機和人類大腦進行比較，它們的底層結(jié)構(gòu)截然不同。神經(jīng)網(wǎng)絡的一個明顯特性是它們的蜂窩狀特性。因此，基本的“cell”結(jié)構(gòu)是探索的方面之一，一個顯而易見的原因是它多次重復。因此，效率的重要性。將是本文討論的重點。
ANN理論指引
人工神經(jīng)網(wǎng)絡的基礎(chǔ)是一大堆稱為神經(jīng)元的元素，通常以緊密相連的束排列。簡而言之，神經(jīng)元是一種特征在于具有多個輸入和單個輸出的單元。單元的輸出是輸入的直接函數(shù)，每個輸入在對輸出的總體貢獻中得到不同的“關(guān)注”，這種“關(guān)注”水平通常被稱為權(quán)重。此外，輸出可能帶有一些閾值效應，只有當神經(jīng)元超過閾值（也稱為“已觸發(fā)”）時才會產(chǎn)生響應。連接到“射擊”（firing）神經(jīng)元的線下神經(jīng)元的相關(guān)輸入將被“激發(fā)”，并且該過程將在整個網(wǎng)絡中傳輸以達到最終輸出。
圖1 ：神經(jīng)元生物學靈感（左）及其人工，概念等效圖（右）。樹突作為輸入; 軸突是輸出，聚合發(fā)生在“細胞”內(nèi)。
在定義等效模型時，最常見的方法是加權(quán)求和，并將非線性應用于輸出。這種方法在以簡單而有意義的方式捕捉概念的本質(zhì)方面非常有用。然而，在嘗試捕獲生物行為的更精細方面時，要尋求更復雜的模型。這些反映了可能導致更完整的神經(jīng)元描述的其他屬性，并且出于實際原因，可以提供克服基本表示法固有的一些性能障礙的實現(xiàn)替代方案。
模擬神經(jīng)元行為的選項涉及時域，頻域和幅域表示。這些選項可以用閉合的數(shù)學形式很容易地表達，如下所述。
直接的離散模型，將神經(jīng)元表示為輸入的加權(quán)和（圖2a）; 脈沖序列，其中脈沖序列代表活動，它們的時間速率決定激發(fā)水平 - 這是表示人體中神經(jīng)細胞活動的最接近表示的圖形（圖2b）和連續(xù)表示。
圖2：a）離散（b）脈沖和（c）連續(xù)模型的數(shù)學表示。
模擬和數(shù)字實現(xiàn)
用于神經(jīng)元實現(xiàn)的各種方法需要解決兩個基本問題：（i）處理 - 負責計算輸入和權(quán)重輸出的部分；（ii）數(shù)據(jù)傳輸 - 負責數(shù)據(jù)傳輸和存儲的部分。
雖然采用數(shù)字電路實現(xiàn)在現(xiàn)代大規(guī)模IC設(shè)計中更為常見，但最近的方法越來越多地通過模擬電路實現(xiàn)。神經(jīng)元的數(shù)字實現(xiàn)基于乘法和累加電路。每個操作都涉及讀取輸入和權(quán)重，并產(chǎn)生中間結(jié)果。該過程重復多次。在求和結(jié)束之后，需要將非線性應用于結(jié)果值，并且將結(jié)果呈現(xiàn)為神經(jīng)元輸出。每N個循環(huán)可獲得一次結(jié)果。此后應存儲該結(jié)果。
圖3：數(shù)字電路構(gòu)建功能塊
模擬電路則利用信號的連續(xù)性來表示某些物理電平的總和（例如，電壓電位的總和，或電流的總和），并獲得免除有限世界長度表示問題的連續(xù)信號。
圖4：模擬電路構(gòu)建的功能塊（連續(xù)操作）
模擬電路的另一種變型是基于脈沖的電路，其利用恒定幅度的脈沖序列的概念。在這種情況下，激勵水平取決于速率。這個概念大部分類似于腦神經(jīng)元活動。
圖5：模擬電路構(gòu)建的功能塊（脈沖操作）
在模擬情況下，數(shù)據(jù)存儲是一項非常重要的挑戰(zhàn)。它可以通過轉(zhuǎn)換到數(shù)字域來解決，這意味著需要進行某種模數(shù)轉(zhuǎn)換，同時在獲取數(shù)據(jù)時進行數(shù)據(jù)和數(shù)模轉(zhuǎn)換。或者，輸出可以直接饋送到下一級，從而避免任何存儲操作。如果設(shè)計能夠支持所需的帶寬，則后一種方法是高效的。如果需要，可以應用一些電容以允許帶寬控制。（注意：圖3、4和5顯示了實現(xiàn)每個前面提到的方法的一個選項，并沒有包含所有實現(xiàn)細節(jié)）
性能
在研究各種方法的性能時，很明顯，雖然數(shù)字化方案已經(jīng)得到了很好的建立，但它受到CMOS技術(shù)障礙的限制，如~0.4V的晶體管級閾值電壓，低于3GHz的標準單元、與工藝相關(guān)的最大時鐘頻率和占空比限制。對于單個8位乘加運算，這將導致處理節(jié)點的下界約為~100fJ。
相反，模擬電路在理論上受熱噪聲的約束，熱噪聲大約為0.01fJ。這比數(shù)字電路低四個數(shù)量級。因此，有理由基于模擬計算結(jié)構(gòu)構(gòu)建電路。然而，實際部署受到各種問題的挑戰(zhàn)，例如將數(shù)據(jù)傳遞到所描述的大量計算單元，與其連接相關(guān)的寄生效應，有效存儲輸出以及最終轉(zhuǎn)化為大規(guī)模設(shè)計流程和批量生產(chǎn)技術(shù)的能力。在實踐中，有報告表明，計算單元的可實現(xiàn)能量為1~10fJ。在這些實現(xiàn)中，實際上計算單元能量變得可以忽略不計，然而，總能量主要由周圍電路和存儲單元支配。
總而言之，在基于數(shù)字電路構(gòu)建的功能塊之上的X10~X100的實際效率在小規(guī)模下是可以實現(xiàn)的，但是一旦單元規(guī)模擴大，其效率就會迅速下滑。
圖6：相關(guān)的操作域圖
圖6是不同方法的定性描述。模擬電路的效率損失主要是由于實現(xiàn)損耗（即，檢測器電路具有一些內(nèi)部噪聲，其降低了信噪比并且需要更好的裕度）。在這種情況下，脈沖方法具有較低的檢測閾值。放大模擬解決方案時，會觀察到噪聲耦合。這種效應隨著解決方案規(guī)模的增長而增長（在連續(xù)方法中更為顯著）。數(shù)字方法受這種耦合效應的影響較小。實際上，從模擬到數(shù)字的能量差距歸因于更高的電壓電平和工作頻率，這在模擬情況下要高得多。
實際上，大規(guī)模電路設(shè)計在過去幾十年中已經(jīng)成熟，且獲得的行業(yè)經(jīng)驗不容易被忽視。因此，可擴展性和產(chǎn)品化在很大程度上限制了使基于模擬的解決方案成為解決一般問題的主要方法的能力。此外，在系統(tǒng)層面，不能忽視次要貢獻者。一旦計算單元貢獻降低到合理水平，進一步改進就變得不那么重要了。
系統(tǒng)層面
到目前為止，這個討論一直致力于構(gòu)建功能塊級別。但是，忽略系統(tǒng)的其余部分是不完整的。系統(tǒng)級分析應該考慮所有貢獻者，并考慮到在某個時刻基本處理的改進因素可以忽略不計的事實。能量分布就是這種情況。
迄今為止，在運行機器學習任務時，最先進的解決方案正在努力達到0.1~1TOPS / W. 這相當于每次操作1~10pJ。如前所述，由于0.1pJ的神經(jīng)元平臺的數(shù)字實現(xiàn)，然后90％~99％的能量仍然存在于包括存儲單元、控制結(jié)構(gòu)和總線架構(gòu)的其他領(lǐng)域中。因此，利用潛力進行架構(gòu)改造至關(guān)重要。僅通過轉(zhuǎn)換到模擬方案回收的能量上限為所消耗的總能量的10%。
對照
下表列出了各種方法的一些關(guān)鍵屬性，并總結(jié)了上面提到的大多數(shù)項目。
表1：模擬和數(shù)字電路基礎(chǔ)神經(jīng)網(wǎng)絡的比較
結(jié)語
總而言之，顯而易見的是，機器學習的活躍特性將帶來新的和有趣的技術(shù)，這些技術(shù)將逐步成熟并滿足各種市場需求。
模擬解決方案在神經(jīng)網(wǎng)絡計算引擎領(lǐng)域展現(xiàn)出了巨大的發(fā)展?jié)摿ΑＲ坏┏墒?，它很可能成為各種神經(jīng)計算解決方案中的補充元素，并可能解決一些具有挑戰(zhàn)性的案例。盡管如此，由于其有限的可擴展性，技術(shù)節(jié)點敏感度，以及它提供的解決方案與相對有限的應用程序子集相關(guān)，而數(shù)字解決方案可提供有效的解決方案，因此，目前還很難預見基于模擬電路的解決方案何時能在該領(lǐng)域?qū)崿F(xiàn)靈活的替代，并占據(jù)主導地位。
原文鏈接：http://www.eenewsanalog.com/news/analog-and-digital-circuits-machine-learning