存內計算是一個由來已久的概念，其主要目的是為了解決內存墻問題。這里首先談談什么是內存墻。今天最常見的計算機架構師馮諾依曼架構，而在馮諾伊曼架構中，計算／處理單元與內存是兩個完全分離的單元：計算／處理單元根據指令從內存中讀取數據，在計算／處理單元中完成計算／處理，并存回內存。

　　馮諾伊曼架構雖然經典，但是也有內存墻的問題。在過去幾十年中，處理器的運行速度隨著摩爾定律高速提升，然而計算機中的主存儲器DRAM是基于電容充放電實現的高密度存儲方案，其性能（速度）取決于電容充放電速度以及DRAM與處理器之間的接口帶寬，總體來看其性能提升速度遠遠慢于處理器速度，目前DRAM的性能已經成為了整體計算機性能的一個重要瓶頸，即所謂阻礙性能提升的“內存墻”。

　　除了性能之外，內存對于能效比的限制也成了傳統馮諾伊曼體系計算機的一個瓶頸，尤其是對于人工智能（神經網絡模型）應用來說。神經網絡的特點就是計算量大，而且計算過程中涉及到的數據量也很大，使用傳統馮諾伊曼架構會頻繁讀寫內存。目前的DRAM一次讀寫32bit數據消耗的能量比起32bit數據計算消耗的能量要大兩到三個數量級，因此成為了總體計算設備中的能效比瓶頸。

　　存內計算就是為了解決內存墻問題而提出的方案。如前所述，馮諾依曼架構的計算機系統把存儲器和處理器分割成了兩個部分，而處理器頻繁訪問存儲器的開銷就形成了內存墻。存內計算的基本思路就是把計算和存儲合二為一，從而實現減少處理器訪問存儲器的頻率（因為計算已經在存儲器內完成了大部分）。嚴格來說，存內計算還可以分為兩種思路。第一種思路主要偏向于電路革新，其方法是通過電路革新讓存儲器本身就具有計算能力，例如在存儲器數據讀出的decoder等地方做改動來實現計算等。這樣的改動通常會針對SRAM或者MRAM等存儲器，可以做到非常好的能效比提升，但是其計算精度往往較為受限（例如1-2bit），因此能夠支持的神經網絡類型也比較有限。另一種思路是在存儲器內部集成額外的計算單元，這種思路主要針對的是DRAM這樣主處理器訪問開銷很大的存儲器，它可以支持較為高精度的計算（例如浮點計算），但是限制在于DRAM工藝往往對于計算邏輯電路不是很友好，如何確保計算單元能集成到DRAM工藝里而且對存儲密度影響可控就是一個挑戰。

　　三星的存內計算技術

　　今年早些時候，三星正式公布了其存內處理（Processing In Memory，PIM）技術，可謂是正式標志著存內計算技術進入了主流。

　　三星目前PIM的第一個存儲器場景是HBM。根據三星的官網的內容，該技術主要針對高性能計算人工智能相關場景，并且可以將整體計算的性能提升兩倍，而能量則可以節省70%。

　　官網上公布的數據背后的技術又是什么樣的呢？今年的ISSCC上，三星也發表了一篇針對HBM-PIM的論文《A 20nm 6GB Function-In-Memory DRAM, Based on HBM2 with a 1.2TFLOPS Programmable Computing Unit Using Bank-Level Parallelism, for Machine Learning Applications》，我們可以從中一探該技術的究竟。

　　根據該論文，HBM-PIM的存儲器設計與傳統HBM存儲器設計的主要區別在于HBM-PIM中集成了額外的可編程計算單元（如下圖），也即我們之前討論的第二種存內計算的設計思路，把處理器集成到存儲器中從而將部分計算負載在存儲器中完成，這樣就能減少處理器需要訪問存儲器的頻率。

　　對于其具體的可編程計算單元，三星在論文中顯示它是一個以計算為主，且包含一些控制單元的迷你處理器。具體來說，在可編程計算單元中，包含了浮點數計算陣列，流水線解碼控制單元以及一個本地寄存器文件單元。其運行方式為，主處理器為可編程計算單元提供一系列需要執行的指令，而可編程計算單元則直接從鄰近的DRAM中直接讀取相關數據，在浮點數計算陣列中完成計算，并且根據指令進一步把結果存儲到寄存器文件中，同時主控制器也可以根據需要把結果從寄存器文件中通過HBM接口讀出。在ISSCC的論文中，三星使用20nm DRAM工藝實現了該HBM-PIM存儲器，并且實現了1.2TOPS的浮點數算力。

　　HBM-PIM是三星引入PIM的第一步，三星官方資料暗示在HBM之外，三星還準備將PIM技術應用到桌面/移動端（LPDDR）和顯卡（GDDR）存儲器上，可見三星對于PIM技術的前景是非常看好。