最近在學習RISCV相關的東西，發現了Berkeley一個很有意思的項目：HWACHA。這是一個使用RISCV開源處理器構建的類vector的多核異構系統，可以用來做低算力的深度學習應用。當然HWACHA本身也是開源的，有興趣可以去github下載源碼跑跑看。這里還是從硬件設計的角度來分析下這種多核異構系統的特點。
Summary：HWACHA使用了自定義的類Vector指令集，通過內嵌調用的形式和RISCV ISA整合在一起。HWACHA的執行類似于緊耦合的coprocessor，RISCV core負責循環的控制，Vector units負責主要的向量運算。兩者通過特殊的指令進行co-work，實現控制和運算錯拍的并行執行。相比傳統的處理器Vector擴展，HWACHA將integer和vector完全隔離，硬件設計相對簡單且易于擴展，可以提供良好的并行性。不過由于是獨立的指令集，需要和RISCV ISA一起聯合編譯，對compiler有特殊的要求。
HWACHA是Berkeley的一個research 項目，從2011年第一代起，幾乎每年都有流片，到V4架構推出，已經是第14款芯片了，好快的迭代速度。HWACHA項目的初衷是探索一個energy-efficient的Vector architecture，基于RISC open ISA，設計一種數據高并行的可擴展結構。
這里先簡單介紹下vector的背景。向量計算（Vector）是一種特殊的單指令流多數據結構，主要面向科學運算，加解密，建模分析等高強度的計算任務。例如ARM的SVE。相比于傳統的SIMD結構（如ARM的Advanced SIMD擴展），Vector的主要優勢是良好的軟件可移植性，也就是說相同的binary code，在不同規模的Vector機器上可以不經改動直接執行，同時軟件編程中不需要考慮根據具體硬件執行的寬度進行數據重排。這種軟件透明的設計大大減輕了軟件設計和維護的代價，因此在服務器領域應用廣泛。
HWACHA的Vector指令集基本上類似于SVE，主要包括Vector寄存器堆VV0-VV255，Predicate寄存器堆VP0-VP15，以及向量控制寄存器VLEN。注意這里的vector寄存器有256個之多，大量的寄存器當然有利于編譯器優化，提升執行性能，但是會對硬件設計主要是頻率帶來影響，后邊可以硬件為了支持這么大的寄存器尋址采取了特殊的機制。由于HWACHA是單獨的指令集，因此增加了一組標量寄存器堆用作控制和標量計算。這里比較特殊的是有獨立的地址寄存器堆VA0-VA31，這樣load和store就不會占用標量寄存器號，有利于更好的schedule計算和存儲。不過這樣就需要在指令編碼中有專用位來指定寄存器的類型。對傳統的32位指令編碼，這當然是個問題，會侵占指令編碼空間，不過HWACHA非常激進，直接采用了64位指令寬度，這樣一來編碼空間就不是問題了。指令密度當然會大不少，不過考慮到vector本身會以循環方式執行，指令數目有限，那么這也不算是個很大的缺點。
HWACHA的執行方式是很有特點的。首先整個Vector Engine作為一個coprocessor，和主CPU之間是de-couple開的，通過特殊的指令和傳輸buffer進行交互。而這種交互過程是interleave的，可以實現back2back的并行，因此從這個角度來看，又是couple在一起的。例如一個簡單的for循環code：
HWACHA的編譯器會將其分解為循環控制部分和向量執行部分，前者在主CPU中執行，后者在Vector engine中執行。CPU通過一條特殊指令VF（Vector Fetch）來通知Vector engine開始執行，VF的參數即為Vector執行的起始PC。在后者執行完成后，通過vstop（Vector Stop）指令來表示執行暫停，等待下次VF的輸入。在Vector engine執行的同時，CPU繼續執行，進入下一拍循環進行數據和控制準備。這種方案可以提供CPU和Vector錯開的并行執行能力，同時控制和數據又能有效的隔離，一方面簡化控制復雜度，另一方面Vector不受限于CPU的硬件結構和帶寬，有很大的設計靈活性，比如HWACHA V4的一拖多結構：
CPU和Vector之間通過若干個Buffer進行交互。當CPU執行到VF指令后，會將其push到VCMDQ中。Vector通過內部的Scalar Unit從VF指定的PC開始取指執行，取到的Vector指令會發送到Master sequencer中，由其負責分發到各個Vector unit中去執行。每個Vector Unit就是一個in-order的Vector核，包括local sequencer負責內部調度，Vector和Predicate寄存器堆，以及獨立的Vector Load&Store unit，通過Crossbar和片外存儲相連。在執行過程中，每個Vector Unit都是獨立運行的，只有指令（操作）從Master sequencer中統一取得。左邊還有一個Vector runahead Unit，應該是負責提前計算一些執行所需的信息，保證Vector Units的數據流的連貫性。整個架構是一種特殊的SIMD形式，用較少的控制來驅動大量的計算，而各個計算單元間又是獨立的，不需要像傳統SIMD指令那樣進行同步。這樣控制當然會簡單，但同時也無法支持精確異常等控制流事件。不過考慮到Vector的主要應用場景，這并不算是一個很大的問題。
HWACHA的每個Vector Unit的結構如上圖。Master Sequencer將譯碼后的指令分發給每個Unit的Lane sequencer，由后者進行內部schedule，包括dependency的檢查和處置。之前說過HWACHA的Vector寄存器有256個之多，這么大的寄存器堆在實現上是很不友好的。為了平衡面積和時序，這里采用了4 BANK 單口SRAM來實現寄存器堆。這里就有一個問題，指令通常有2~3個源操作數，單口SRAM如何有效的進行寄存器讀寫，特別是在幾個操作數處于同一個RAM BANK中？HWACHA采用一個稱為“Systolic Bank Execution”的機制，簡單來說就是指令按順序的訪問RAM BANK0~3，指令i當前cycle訪問BANKk，如果操作數在這個BANK里，就取出來，如果不在，就在下一個cycle訪問BANKk+1。同時指令i+1在當前cycle 訪問BANKk-1。這樣的訪問序列不停頓，指令會一直循環這個過程直到把所有的操作數都取到，就發送到執行單元去執行。寫回的數據也會進入這個systolic的FIFO，直到它移動到對應的RAM BANK，再把數據寫回到寄存器堆中。這種繁瑣的機制更多的出于研究性質，用來探索采用SRAM實現寄存器的讀寫的可行性，而不論從性能上，還是硬件實現上都不是個友好的方案。通常還是采用多級可流水的，多讀口的registerfile實現更合適。
整個執行單元的設計并沒有太多的特殊之處，該有的arithmetic unit都有了。比較有特點的是它把ALU放到了寄存器堆的BANK里，每個BANK都有一個。這樣的設計主要用來加速單cycle ALU的執行，是對HWACHA SRAM寄存器堆結構讀寫效率不高的缺陷的一種彌補。
整體來說，HWACHA是一個偏研究性質的架構，很多問題的解決并非從工程的思路出發，選擇簡潔高效的方案，而是更多地進行多種可能性的探索。除去這些，HWACHA的控制數據de-couple的想法，以及Vector部分并行運算的軟硬件協同支持，都很有特點，同時HWACHA中指令集層面的部分思路，也已經提交作為RISCV open ISA vector extension的標準。從這個角度來看，HWACHA的探索很有意義，也很成功。