昨天，阿里巴巴發(fā)布了第一款AI芯片——含光800。除了參數(shù)外，還有怎樣的故事和深層次考慮？最近一兩年，只要國(guó)內(nèi)有公司發(fā)布AI芯片，就會(huì)在各大社交圈、媒體中炸開(kāi)鍋。日子過(guò)不了多久，就會(huì)淡去，留下三三兩兩歷史記錄中的文章。但我們很少知道背后的故事，這并不是幾日的技術(shù)狂歡所能說(shuō)清的。昨天，阿里巴巴發(fā)布了第一款A(yù)I芯片——含光800。合著云棲大會(huì)的熱鬧，該芯片瞬間成為了近日最閃耀的頭條新聞。當(dāng)阿里CTO張建鋒在會(huì)議廳展示這塊芯片時(shí)，介紹很簡(jiǎn)短，除了參數(shù)外，并沒(méi)有介紹背后的故事。
“前幾天，我們都還不知道能不能完成。只能每周干7天，每晚干到12點(diǎn)。就在15號(hào)凌晨時(shí)，我們最后一批人早上5點(diǎn)20離開(kāi)（實(shí)驗(yàn)室），終于調(diào)出來(lái)了。當(dāng)時(shí)很多人說(shuō)不可能，但我們做到了。” 阿里巴巴達(dá)摩院平頭哥AI芯片研究員焦陽(yáng)（驕旸）在接受TechSugar等媒體采訪時(shí)，說(shuō)到了這款芯片背后的故事。
故事的開(kāi)頭夾雜的質(zhì)疑，故事的結(jié)尾如這批研究員所愿。
這顆芯片
7個(gè)月完成了前端設(shè)計(jì)，之后用3個(gè)月就成功流片，速度的確驚人。
據(jù)現(xiàn)場(chǎng)介紹，在業(yè)界標(biāo)準(zhǔn)的ResNet-50測(cè)試中，含光800推理性能達(dá)到78563 IPS，比目前業(yè)界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。在杭州城市大腦的業(yè)務(wù)測(cè)試中，1顆含光800的算力相當(dāng)于10顆GPU。
人工智能芯片分論壇中，焦陽(yáng)介紹了更多該芯片的細(xì)節(jié)，如下兩張圖。
含光800采用四核設(shè)計(jì)，其包含170億顆晶體管，采用臺(tái)積電的12nm工藝。之所以采用四核架構(gòu)，焦陽(yáng)表示：“在設(shè)計(jì)之后，由于良率提升需求，四個(gè)Core任何有一個(gè)Core壞死，都不影響芯片工作，這是我們?cè)诩軜?gòu)設(shè)計(jì)時(shí)做的特別處理。”
此外，計(jì)算單元盡量被放在了存儲(chǔ)邊上，這是功耗做的很低的原因。
含光800性能的突破得益于軟硬件的協(xié)同創(chuàng)新：硬件層面采用自研芯片架構(gòu)，通過(guò)推理加速等技術(shù)有效解決芯片性能瓶頸問(wèn)題；軟件層面集成了達(dá)摩院算法，針對(duì)CNN及視覺(jué)類算法深度優(yōu)化計(jì)算、存儲(chǔ)密度，可實(shí)現(xiàn)大網(wǎng)絡(luò)模型在一顆NPU上完成計(jì)算。
含光800已開(kāi)始應(yīng)用在阿里巴巴內(nèi)部核心業(yè)務(wù)中。根據(jù)云棲大會(huì)的現(xiàn)場(chǎng)演示，在城市大腦中實(shí)時(shí)處理杭州主城區(qū)交通視頻，需要40顆傳統(tǒng)GPU，延時(shí)為300ms，使用含光800僅需4顆，延時(shí)降至150ms。拍立淘商品庫(kù)每天新增10億商品圖片，使用傳統(tǒng)GPU算力識(shí)別需要1小時(shí)，使用含光800后可縮減至5分鐘。
含光800將通過(guò)阿里云對(duì)外輸出AI算力。基于含光800的AI云服務(wù)當(dāng)天正式上線，相比傳統(tǒng)GPU算力，性價(jià)比提升100%。
過(guò)去半年，平頭哥先后發(fā)布玄鐵910、無(wú)劍SoC平臺(tái)。隨著含光800的發(fā)布，平頭哥端云一體全棧產(chǎn)品系列初步成型，涵蓋處理器IP、一站式芯片設(shè)計(jì)平臺(tái)和AI芯片，實(shí)現(xiàn)了芯片設(shè)計(jì)鏈路的全覆蓋。
張建鋒說(shuō)：“在全球芯片領(lǐng)域，阿里巴巴是一個(gè)新人，玄鐵和含光800是平頭哥的萬(wàn)里長(zhǎng)征第一步，我們還有很長(zhǎng)的路要走。”
到底怎么想的？
在發(fā)布會(huì)結(jié)束后，筆者從分論壇中，了解到了這款NPU更多的故事和背后的想法。首先是為什么——阿里巴巴為什么要做云上大芯片？
從焦陽(yáng)的回答中，筆者總結(jié)為以下幾點(diǎn)：
1，阿里巴巴云計(jì)算是一個(gè)快速增長(zhǎng)的業(yè)務(wù)，在業(yè)內(nèi)處于領(lǐng)先地位。硬件設(shè)計(jì)可以幫助阿里巴巴快速拓展業(yè)務(wù)，降低計(jì)算成本，提供海量的計(jì)算能力。云計(jì)算走到今天，如果沒(méi)有硬核就很難繼續(xù)往下走，未來(lái)很難在算力上有更多的提高。
2，這不是為了短期商業(yè)化，而為更遠(yuǎn)的愿景。以技術(shù)為本，打造過(guò)硬的技術(shù)。
3，為什么做推理而不是訓(xùn)練？雖然在AI發(fā)展中，第一步都是要做很多的訓(xùn)練，但隨著算法高速發(fā)展之后，將迎來(lái)推理端的發(fā)展。阿里巴巴涉及的業(yè)務(wù)，如城市大腦、視覺(jué)分析等，算力大大提高其計(jì)算效率，把真正的業(yè)務(wù)量達(dá)到突破，從而在云計(jì)算中增加更多流量，解決未來(lái)業(yè)務(wù)發(fā)展目標(biāo)。
4，阿里巴巴與傳統(tǒng)互聯(lián)網(wǎng)公司不同，除了搜索和廣告業(yè)務(wù)，還有更豐富的視覺(jué)類業(yè)務(wù)，如淘寶圖片、搜索、智能城市、智能工廠等。基于這些業(yè)務(wù)，CNN加速是對(duì)NPU的一個(gè)重要方向點(diǎn)，此外阿里還將擴(kuò)展到新的模式適配。（如下圖）
在提到未來(lái)芯片計(jì)劃時(shí)，焦陽(yáng)非常務(wù)實(shí)地說(shuō)道：“第一步先把技術(shù)做深做扎實(shí)，達(dá)摩院或者其他的技術(shù)團(tuán)隊(duì)，目前都在做很多的項(xiàng)目，我們需要從業(yè)務(wù)中了解業(yè)務(wù)，不能僅限于只做業(yè)務(wù)，需要舉一反三，來(lái)產(chǎn)生更有深度，更有技術(shù)水平的產(chǎn)品。含光雖然已經(jīng)取得了初步的結(jié)果，但這遠(yuǎn)遠(yuǎn)不夠，我們要達(dá)到英偉達(dá)的水平還有很長(zhǎng)的路要走，有了好技術(shù)才能有章可循，沒(méi)有技術(shù)，連推產(chǎn)品都推不動(dòng)。”
“AI芯片是新的領(lǐng)域，新領(lǐng)域本身就存在很多機(jī)會(huì)。而且人工智能算法是需要特殊架構(gòu)的，對(duì)于阿里巴巴來(lái)說(shuō)，就是挑戰(zhàn)皇冠上的明珠。”有20年GPU領(lǐng)域工作經(jīng)驗(yàn)的焦陽(yáng)，談到公司未來(lái)也是充滿信心。
阿里芯片的邊界
前不久，看到新聞上提到馬云在阿里巴巴卸任現(xiàn)場(chǎng)上演唱了《怒放的生命》時(shí)，我突然發(fā)現(xiàn)，凡人已經(jīng)很難阻止阿里巴巴了。
2017年，宣布成立達(dá)摩院；2018年成立平頭哥；2019年便掏出了這一款A(yù)I芯片。對(duì)2020年的大事，目前筆者還沒(méi)嗅到什么消息，憑借阿里的想象力，總預(yù)感會(huì)有大事發(fā)生。
其實(shí)在芯片這塊，阿里巴巴的所涉及的部分已經(jīng)超過(guò)一般人所知。
阿里巴巴集團(tuán)副總裁周明的題為《阿里巴巴基礎(chǔ)設(shè)施挑戰(zhàn)與芯片策略》的演講中提到，如今阿里在技術(shù)分布有CPU、異構(gòu)計(jì)算、NPU、FPGA；互聯(lián)和網(wǎng)絡(luò)部分則有自研網(wǎng)絡(luò)交換機(jī)及NOS、自研400G硅光模塊、HAIL2.0數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)；存儲(chǔ)端集合了從SSD到DRAM到新型存儲(chǔ)截止愛(ài)到服務(wù)器的一體機(jī)，其中包括AliFlash V3、AliFlash V5.0、阿里巴巴自研云計(jì)算服務(wù)器、阿里巴巴邊緣云服務(wù)器。
因?yàn)榛A(chǔ)設(shè)施的加持，才有云棲大會(huì)第一場(chǎng)主論壇中，阿里巴巴董事局主席兼首席執(zhí)行官?gòu)堄聦?duì)數(shù)字經(jīng)濟(jì)的暢想，他表示：“在數(shù)字經(jīng)濟(jì)時(shí)代，大數(shù)據(jù)是石油，而算力是引擎。算力不僅代表計(jì)算的規(guī)模和計(jì)算的效率，同時(shí)它也包括數(shù)量的要求、智慧的程度。算力的發(fā)展，最終一定是“數(shù)”和“智”全面結(jié)合。只有這樣，我們才能夠在走向數(shù)字化的同時(shí)，真正走向未來(lái)我們共同相信會(huì)全面爆發(fā)的智慧化、數(shù)智化。”
更多信息可以來(lái)這里獲取==>>電子技術(shù)應(yīng)用-AET<<
