1965年，英特爾創(chuàng)始人Gordon Moore首次提出摩爾定律，并于1975年進(jìn)行修正。根據(jù)摩爾定律，技術(shù)進(jìn)步將使集成電路(微芯片)的集成度大約每18-24個(gè)月翻一番。摩爾定律問世時(shí)，集成電路問世才6年，Moore實(shí)驗(yàn)室在一個(gè)芯片上還只能集成50個(gè)晶體管。50年后，最先進(jìn)的芯片可以集成10幾億個(gè)晶體管。但是，我們現(xiàn)在面臨一個(gè)問題：摩爾定律，還能延續(xù)多少年?
是的，在過去50年，傳統(tǒng)數(shù)字計(jì)算機(jī)的性能在不斷提高。集成電路的技術(shù)進(jìn)步一方面使得硬件變得越來越強(qiáng)大，另一方面也給尋求優(yōu)化算法性能的系統(tǒng)架構(gòu)師帶來了挑戰(zhàn)。
類腦計(jì)算
下一代高性能、低功耗的計(jì)算機(jī)系統(tǒng)需要像大腦學(xué)習(xí)。
隨著設(shè)計(jì)者從通用的計(jì)算機(jī)技術(shù)轉(zhuǎn)向大腦啟發(fā)(神經(jīng)形態(tài))系統(tǒng)，他們也必須從支撐通用機(jī)器的既定形式層次結(jié)構(gòu)中走出來。也就是說，抽象框架廣泛地定義了軟件是如何被數(shù)字計(jì)算機(jī)處理，并轉(zhuǎn)換成在機(jī)器硬件上運(yùn)行的操作的，這種層次結(jié)構(gòu)有助于實(shí)現(xiàn)計(jì)算機(jī)性能的快速增長(zhǎng)。
通用計(jì)算機(jī)設(shè)計(jì)的一個(gè)重要特點(diǎn)是軟硬件去耦合，而這一特點(diǎn)使得新設(shè)備(芯片、內(nèi)存等)能夠獲得最佳性能。通過設(shè)置對(duì)硬件的最低要求，將用高級(jí)語言編寫的軟件程序，轉(zhuǎn)換成任何機(jī)器所需的精確等效的指令序列變得可行，這一過程稱為編譯。在這個(gè)編譯過程中，支持使用代表基本計(jì)算操作的指令的計(jì)算機(jī)被稱為圖靈完備。因此，軟件代碼通常只寫一次，然后可以在多個(gè)圖靈完備的處理器架構(gòu)上編譯和執(zhí)行，以產(chǎn)生等效的結(jié)果。
圖1 在計(jì)算機(jī)硬件上，基于層次結(jié)構(gòu)實(shí)現(xiàn)算法
然而，人們普遍認(rèn)為，摩爾定律時(shí)代即將結(jié)束：數(shù)字計(jì)算機(jī)能力的進(jìn)步速度似乎正在放緩。此外，數(shù)字計(jì)算非常耗能，促使人們尋找替代方案。
傳統(tǒng)計(jì)算機(jī)依循馮·諾依曼架構(gòu)設(shè)計(jì)，存儲(chǔ)與計(jì)算功能分離。每進(jìn)行一次運(yùn)算，計(jì)算機(jī)都要在內(nèi)存和CPU兩個(gè)區(qū)域之間來回調(diào)用，大數(shù)據(jù)處理效率有待提高。除此之外，因?yàn)樵诖鎯?chǔ)與計(jì)算空間之間來回調(diào)用，芯片的能耗大部分轉(zhuǎn)化為熱量，既不利于設(shè)備的性能穩(wěn)定，又不環(huán)保。
類腦芯片就不一樣了，人腦中存儲(chǔ)與計(jì)算功能是合二為一的。科學(xué)家們長(zhǎng)期以來一直對(duì)大腦的計(jì)算能力著迷，大腦不僅具有難以置信的能效，而且由于其神經(jīng)元和突觸的架構(gòu)，還擁有獨(dú)特的信息處理性能。類腦芯片可以模擬人腦的復(fù)雜處理能力，啟發(fā)了神經(jīng)形態(tài)計(jì)算領(lǐng)域，一個(gè)使用大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作為下一代計(jì)算機(jī)基礎(chǔ)的研究領(lǐng)域。
神經(jīng)形態(tài)計(jì)算的重點(diǎn)通常是脈沖神經(jīng)網(wǎng)絡(luò)——由相互連接的人工神經(jīng)元組成的系統(tǒng)，其中每個(gè)神經(jīng)元在激活水平達(dá)到閾值時(shí)都會(huì)表現(xiàn)出短暫的“脈沖”。與現(xiàn)代深度學(xué)習(xí)應(yīng)用中常用的人工神經(jīng)網(wǎng)絡(luò)相比，這種系統(tǒng)更類似于生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)形態(tài)硬件已經(jīng)產(chǎn)生了一系列的格式，包括數(shù)字和模擬。然而，大多數(shù)系統(tǒng)都有共同的設(shè)計(jì)原則，例如內(nèi)存和處理器的協(xié)同定位。
開發(fā)神經(jīng)形態(tài)硬件應(yīng)用一個(gè)挑戰(zhàn)是，目前不存在圖靈完備性等形式層次。相反，每個(gè)新的芯片架構(gòu)都需要一個(gè)定制的軟件工具鏈，即一組編程工具來定義算法，并通過將它們映射到獨(dú)特的硬件上來執(zhí)行它們，這使得很難比較執(zhí)行相同算法的不同神經(jīng)形態(tài)系統(tǒng)的性能，并且需要研究人員理解算法和硬件的所有方面，以獲得潛在的類似大腦的性能。
厚積薄發(fā)
清華大學(xué)施路平團(tuán)隊(duì)長(zhǎng)期致力于類腦計(jì)算領(lǐng)域的研究。2015年，第一代“天機(jī)芯”DEMO問世，制程約為110納米。2017年，第二代“天機(jī)芯”芯片制程為28 nm。
2019年7月31日，施路平團(tuán)隊(duì)以Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture為題，在Nature封面論文報(bào)道了第三代天機(jī)芯片，通過無人駕駛自行車上的實(shí)驗(yàn)演示，實(shí)現(xiàn)了機(jī)器學(xué)習(xí)和類腦算法的完美結(jié)合，標(biāo)志著中國(guó)在人工智能領(lǐng)域進(jìn)入了關(guān)鍵時(shí)刻。
時(shí)隔一年之后，2020年10月15日，清華大學(xué)施路平、張悠慧等人又一次在Nature發(fā)表類腦計(jì)算的最新研究成果。他們定義了一個(gè)新的層次結(jié)構(gòu)，將算法的要求及其在一系列神經(jīng)形態(tài)系統(tǒng)上的實(shí)現(xiàn)形式化，從而為結(jié)構(gòu)化的研究方法奠定基礎(chǔ)。在該方法中，受大腦啟發(fā)的計(jì)算機(jī)的算法和硬件可以分別設(shè)計(jì)。值得一提的是，在這兩個(gè)重大研究成果中，施路平教授都是通訊作者，而張悠慧教授都是第一作者之一，并在最新的Nature論文中擔(dān)任通訊作者之一。
這一次，清華大學(xué)施路平、張悠慧研究團(tuán)隊(duì)提出了一個(gè)突破性解決方案，他們稱之為神經(jīng)形態(tài)完備性。這是對(duì)圖靈完備性的認(rèn)可，旨在將算法和硬件開發(fā)分離開來。
作者提出，如果一個(gè)類大腦系統(tǒng)能夠以規(guī)定的精確度執(zhí)行一組給定的基本操作，它就是神經(jīng)形態(tài)完備的，這是對(duì)圖靈完備性的一種偏離。在圖靈完備性中，一個(gè)系統(tǒng)只有在為給定的一組基本運(yùn)算提供了精確且同等的結(jié)果時(shí)，才能被定義為完備的。
神經(jīng)形態(tài)完備框架
在提出的神經(jīng)形態(tài)完備框架中，基本操作包括兩種，稱為加權(quán)和操作和元素校正線性操作，這使得硬件系統(tǒng)能夠支持脈沖和非脈沖人工神經(jīng)網(wǎng)絡(luò)。作者展示了他們的大腦啟發(fā)計(jì)算的層次結(jié)構(gòu)如何提供一種機(jī)制，將給定的算法轉(zhuǎn)換成適合一系列神經(jīng)形態(tài)完整設(shè)備的形式。
新層次結(jié)構(gòu)的一個(gè)關(guān)鍵亮點(diǎn)在于，提出了一個(gè)連續(xù)完備性——可以接受不同級(jí)別的算法性能，這取決于神經(jīng)形態(tài)系統(tǒng)執(zhí)行基本操作的準(zhǔn)確性。這種完備性的連續(xù)性意味著，新的層次結(jié)構(gòu)可以使用所有可用的模擬和數(shù)字神經(jīng)形態(tài)系統(tǒng)來實(shí)現(xiàn)，包括那些為了執(zhí)行速度或能量效率而犧牲準(zhǔn)確性的系統(tǒng)。
圖2 類腦計(jì)算機(jī)層次結(jié)構(gòu)(左)與現(xiàn)有通用計(jì)算機(jī)(右)的對(duì)比
完備性的連續(xù)還允許算法的在同一硬件上的不同運(yùn)行。例如，探索如何根據(jù)芯片大小來權(quán)衡算法精度，以降低功耗。研究人員在三個(gè)任務(wù)的算法執(zhí)行中展示了這一方面(“駕駛”無人駕駛自行車、模擬鳥群的運(yùn)動(dòng)以及執(zhí)行稱為QR分解的線性代數(shù)分析)。每個(gè)任務(wù)使用三個(gè)典型的神經(jīng)形態(tài)完備硬件平臺(tái)來執(zhí)行：作者自己的神經(jīng)形態(tài)芯片，通用計(jì)算機(jī)中使用的圖形處理單元，一個(gè)基于憶阻器設(shè)備的平臺(tái)，可以加速神經(jīng)網(wǎng)絡(luò)的運(yùn)行。
這種層次結(jié)構(gòu)具有極大的創(chuàng)新性，主要表現(xiàn)為兩點(diǎn)：
1)能夠比較實(shí)現(xiàn)相同算法的等效版本的不同硬件平臺(tái)，以及在相同硬件上實(shí)現(xiàn)的不同算法。這兩個(gè)都是對(duì)神經(jīng)形態(tài)架構(gòu)進(jìn)行有效基準(zhǔn)測(cè)試的關(guān)鍵任務(wù)。將通用的圖靈完備硬件(GPU)包含在他們的驗(yàn)證實(shí)驗(yàn)中也是非常有價(jià)值的，因?yàn)檫@表明在某些應(yīng)用中，層次結(jié)構(gòu)可以潛在地用于證明神經(jīng)形態(tài)設(shè)備優(yōu)于主流系統(tǒng)。
2)有可能將算法和硬件開發(fā)分開。如果要獲得底層神經(jīng)形態(tài)架構(gòu)的益處，算法規(guī)模和復(fù)雜性將需要隨著時(shí)間的推移而增加。因此，這種分離將有助于研究人員專注于研究問題的特定方面，而不是試圖找到完整的端到端解決方案。這可能會(huì)導(dǎo)致對(duì)問題的更好理解，并為未來更高性能的神經(jīng)形態(tài)系統(tǒng)的設(shè)計(jì)提供信息。
結(jié)語
面對(duì)即將到來的計(jì)算機(jī)架構(gòu)發(fā)展黃金十年，類腦計(jì)算被認(rèn)為是最有希望的方案之一。
清華大學(xué)團(tuán)隊(duì)所提出的類腦計(jì)算系統(tǒng)設(shè)計(jì)思路，是在現(xiàn)有計(jì)算機(jī)架構(gòu)基礎(chǔ)上，加入類腦計(jì)算芯片、從而引入空間復(fù)雜性和時(shí)空復(fù)雜性。這樣既可以保持原有計(jì)算機(jī)處理結(jié)構(gòu)化信息的的優(yōu)勢(shì)，又可以利用類腦計(jì)算芯片提升處理非結(jié)構(gòu)化信息的能力。
團(tuán)隊(duì)將堅(jiān)持計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)融合的技術(shù)路線，并充分利用新型非易失性存儲(chǔ)器件(包括憶阻器)的特殊性質(zhì)，發(fā)展適合這些器件的新的計(jì)算模型和算法，構(gòu)建完全新型的智能計(jì)算體系。