關注AI芯片領域的用戶應該聽說過SambaNova，這是一家低調的公司，他們幾乎不做宣傳，但卻得到了一些支持。在獲得了由Google Ventures，Intel Capital和Blackrock領導的三輪融資以及在美國能源部的Laurence Livermore和Los Alamos的部署之后，他們現在已經可以為一些客戶提供新產品。SambaNova已經在賺錢，并開始談論使用其新型Cardinal AI處理器構建的新型DataScale SN10-8R系統。
AI Silicon：回顧
大多數人工智能或機器學習工作負載分為兩類：訓練和推理。
第一個是訓練，在該訓練中，算法將獲得數據或競爭模型參與其中，其目標是從數百萬，數十億或數萬億的參數中創建最佳算法。這是一個龐大的計算，需要強大的硬件（可擴展的硬件（Google的GPT3需要約1200萬美元的云計算時間））。
第二個是推理，在該模型中，已經訓練（稱為預訓練）的模型會顯示新數據，并且必須做出相應的響應。相比之下，這是一種輕量級的工作負載，僅需要模型的數學功能，其中的基準測試包括延遲（響應時間），帶寬（每秒推理），準確性（是否正確）和功率（每瓦推理）。如今，物聯網和智能手機中都存在著著重于發展推理硬件。
這個想法是訓練一個模型識別一只貓，通過給它展示一億張貓、狗、熊貓和狐貍的圖片來區分它們。推理是向訓練過模型展示貓的新圖片，并得到正確的結果。
訓練和推理都可以在常規計算處理器，高性能圖形硬件上執行，或者正如我們在本行業中看到的那樣，可以針對一種或多種針對這兩種方法使用專用的AI解決方案。該領域的公司傾向于專注于另一方——訓練需要大型硅芯片，通常在數據中心中具有大量內存，而推理則可以采用小芯片或IoT模式的芯片來進行。
大多數訓練硬件也具有推理能力，但是由于功能強大，它們往往可以在“云中批量推理”上工作，比如分析完整的人類文本或社交媒體上的照片目錄，而不是直接在商店櫥窗中進行面部識別，以實現銷售目的。
SambaNova及其新型Cardinal AI芯片
大多數AI芯片公司都專注于推理，這樣的公司大約有5億（可能有點夸張，也可能沒有）。開發用于訓練的芯片則要復雜得多，因為它需要大芯片來完成繁重的任務，所以只有幾家公司。在尋找合適的客戶方面還有其他明顯的困難——如果只有兩家公司愿意購買你的產品，那么花數百萬美元是沒有意義的。因此，大多數人致力于AI訓練芯片的企業要么很快就會消失，要么就會賺大錢。過去幾年，多數大型人工智能訓練公司都從投資者那里吸引了大量資金，而其它公司則被收購。SambaNova屬于第一種類型，他們為其新的Cardinal AI芯片爭取到了約4.5億美元的風險投資。
Cardinal AI芯片很大，是單片的，建立在臺積電的N7進程上。在708平方毫米的空間中，它測量了400億個晶體管，幾乎接近極限，就像許多其他高性能人工智能訓練處理器一樣。SambaNova的芯片是可重新配置的單位數據，存儲，或切換，數據優化的陣列流動（他們稱之為一個可重構數據流股，或RDU），以覆蓋各種各樣的帶寬，存儲和計算要求的是來自各種各樣的訓練工作的要求。目的是，如果工作負載需要更多的內存，則芯片可以像FPGA /結構化ASIC一樣進行調整，但是在這種情況下，其性能和效率會更高。
訓練工作負載的問題之一是內存帶寬，以及能否從存儲中獲取訓練數據到計算芯片中。這就是為什么許多AI訓練硬件設計師往往都采用高帶寬內存，創新的封裝技術或芯片通信拓撲的原因。目前，SambaNova不會透露有關該芯片的太多細節，但確實在一些關鍵方面指出了它們提供的解決方案。其中最重要的是每個基數的存儲容量以及相鄰基數硅之間的互連帶寬。
SambaNova不會單獨出售一塊芯片，但與其他初創企業一樣，它會出售安裝在數據中心的解決方案。SambaNova產品的基本單元將是稱為DataScale SN10-8R的四分之一機架設計（9U？），其特征是AMD EPYC Rome x86主機與八個Cardinal芯片和12 TB的DDR4-3200內存配對（是的）。每個主要主機1.5 TB。SambaNova將根據客戶所需的四分之一機架數量來擴展其產品，默認規格為1/4機架（8 RDU），1/2機架（16 RDU和1機架（32 RDU）。除此之外，還有定制型號。
每個Cardinal芯片都有六個用于存儲的DDR4內存控制器，可實現153 GB / s的內存帶寬。八個芯片以全部配置連接，并通過交換網絡（如NVSwitch）啟用。我們被告知，每個芯片都具有通往該網絡的64個PCIe 4.0通道（通過四個x16根聯合體啟用），該通道在每個方向上為交換機提供128 GB / s的速度，但是PCIe上使用的協議是SambaNova定制的。
這些交換機還支持系統到系統的連接，SambaNova可以在其中實現橫向擴展到多個四分之一機架部署。每個四分之一機架將具有一組默認的集成網絡和管理功能，如果客戶需要，則可以由SambaNova進行遠程管理。當被問及這些系統可以擴展到什么級別時，SambaNova說有一個理論上的限制，但是試圖量化這最終是不實際的–他們引用了兩個完整的機架或八個SN10-8R系統（也可以是64個芯片）的價值。在較低功耗下，性能要比同等的NVIDIA DGX-A100部署高出40％。
在軟件方面，SambaNova擁有自己的圖形優化器和編譯器，使當前使用PyTorch或TensorFlow的客戶可以在不到一個小時的時間內為硬件重新編譯其工作負載（引用了SambaNova的客戶部署之一）。SambaNova產品負責人Marshall Choy在我們的簡報中說，易用性是SambaNova DataScale產品系列的關鍵支柱之一。根據Marshall的說法，對于公司而言，重要的是客戶希望訪問硬件并在盡可能短的時間內使用，這就是產品所提供的。
Marshall為公司所經歷的四個關鍵屬性是（按順序）性能，準確性，規模和易用性。在此新產品發布中，許多客戶評價都強調了新硬件的這些屬性，即使在COVID期間安裝和100％遠程管理也是如此。
盡管今天是產品發布會，并且公司已退出半隱身模式，但SambaNova已經開始銷售系統以實現收入，并一直持續到2020年。該第一代產品還針對四個主要客戶目標，這主要是由于這些都是SambaNova當前客戶正在運行的培訓工作量。這些產品領域是：Transformers（自然語言，視覺分析）、高分辨率計算機視覺（4K至50K圖像）、推薦系統（在線零售，銀行欺詐檢測）、人工智能科學。
作為今天產品發布的一部分，SambaNova可以將自己與這些細分市場上一些最常見的硬件進行比較，主要是針對NVIDIA。SambaNova指出，與NVIDIA的產品相比，它們的性能更好，功耗更低。SambaNova還強調說，它的芯片是為執行循環訓練而構建的，允許在有訓練推斷的工作負載期間動態進行模型重新分類和優化，而無需內存轉儲和內核切換，并且只需提供異構零拷貝式解決方案–相比之下，其他硬件必須重新配置自己才能執行其中一項。
對于可能在更廣闊的市場中應用，我們詢問了MLPerf。有人告訴我們，即使SambaNova是參與MLPerf項目的首批公司之一（特別是SN的創始人），但他們現在專注于為客戶進行部署并滿足他們的需求，而不是一般的行業比較指標。但這并不意味著它們不贊成MLPerf。
SambaFlow
SambaFlow是與SN10-8R一起使用的軟件包。該工具鏈從TensorFlow，PyTorch或自定義圖獲取輸入，并進行圖分析以轉換機器學習計算或其他自定義計算所需的內容。這包括切片分析，根據SambaNova的網站，可以自動進行切片。然后，將分析通過SambaNova的編譯器進行優化，以優化數據流體系結構，并考慮物理數據位置，然后再作為運行時進行傳遞。
該公司認為，SambaNova方法的關鍵要素是要克服GPU在此類工作負載方面的局限性。這些要求包括對訓練模型中1000億個參數的支持，以及允許更大批處理大小，模型并行性和硬件利用率以及更高準確性的更大內存占用。
這也可以轉化為更低的功耗和（更好的）總體擁有成本。
SambaNova是誰
該公司本身成立于2017年9月，其根源于前Sun Oracle架構師。這三位創始人都有創建芯片解決方案的背景：
該公司已通過三輪融資：
A輪，5600萬美元，由Walden International和Google Ventures領投
B輪，1.5億美元，由英特爾投資牽頭
C輪，2.5億美元，由貝萊德（BlackRock）領投
這使SambaNova的AI芯片融資額達到4.56億美元，僅次于GraphCore（4.6億美元）和Horizon Robotics（7億美元），緊隨其后的是Nuvia（2.93億美元），Cambricon（2億美元）和Cerebras（120美元）。
SambaNova在Palo Alto擁有約150名員工。該第一代芯片于2019年春季上市，第一批A0芯片樣品在抵達后的一小時內上電。該公司在一個月內運行了客戶模型。從那時起，SambaNova在此之前已經向特定客戶銷售了一年多-僅有的公眾來自勞倫斯·利弗莫爾和洛斯阿拉莫斯的能源部。我們明確指出，其他客戶不是投資者，而是知名企業，他們認為有必要在新事物方面處于領先地位。客戶跨越多個細分市場，主要涉及上述四個細分市場。
隨著時間的推移，SambaNova承諾會發布更多有關其產品組合的公告。該公告與NeurIPS（神經信息處理系統）會議相吻合，并且該公司在歷史上也曾參加過HPC風格的活動。隨著更多詳細信息的發布，我們將了解到更多。
另外兩個小公告
與新的SN10-8R產品一起，SambaNova將提供兩種類似于云的服務選項：一種用于學術和研究，另一種用于客戶。
第一個針對學術界的是SambaNova AI平臺（SNAP），它是供研究機構使用的對硬件進行計算訪問的免費使用的開發人員云。根據項目申請流程授予訪問權限-確切細節待確認。
第二種是針對需要云靈活性而無需支付硬件費用的企業客戶。DataFlow即服務（如果需要，可以使用DFaaS）將使客戶能夠“租用”一個系統，并將其放置在公司防火墻內，但具有類似云的訪問權限。管理和更新將由SambaNova遠程完成，就好像它是真正的云產品一樣，但是具有內部硬件的安全性方面。這將是一項訂閱產品，主要針對自然語言，推薦引擎和高分辨率計算機視覺客戶。