有公司做了十多年ISP，也沒有進入行業一流水平。

　　過去十多年，中國的手機廠商們借高通和聯發科的SoC芯片，推動了智能手機的普及，同時也躋身全球手機行業的前列。然而，隨著手機市場競爭的加劇，以及消費者對手機使用體驗的更高追求，通用的手機SoC成為了手機巨頭們提升競爭力的瓶頸。

　　于是，小米、OPPO、VIVO相繼走上了自研芯片的道路，他們的終極目標是自研SoC芯片，但當下都聚焦ISP（Image Signal Processor，圖像信號處理器）的研發。手機巨頭們為什么都選擇從自研ISP芯片入門？消費者需求、手機廠商的技術積累、ISP的技術特性、手機市場的未來趨勢等都是關鍵原因，這也是本文將詳細解答的問題。

　　至于手機巨頭們自研芯片能否成功？多位業內資深人士都告訴雷鋒網，這在于手機廠商的決心。

　　“困”在芯片里的手機巨頭，踏上自研之路

　　2013年12月，中國開啟4G時代。三年后的2016年，國產手機開始全面崛起，這一年，蘋果和三星在中國的市場份額開始下降，華為、OPPO和VIVO的市場份額高速增長，小米也憑借超高性價比迅速占領市場。

　　兩大市場研究機構Counterpoint和canalys 2021年第二季度的數據顯示，小米、OPPO、VIVO位列全球五大手機廠商之列，分別排名第二、第三和第五位，合計市場份額超過35%。小米創始人董事長兼首席執行官雷軍更是在近日放出豪言，“5至10年后，小米會成世界第一的手機公司。”

　　躋身全球前五的三大手機廠商們有一個共同點，每一代手機功能的重大提升都與高通、聯發科當年最新的SoC的特性密切相關。這也讓他們面臨一個共同的挑戰，在增長乏力的手機市場，想要實現性能和體驗的差異被芯片制約。

　　自研芯片是一條被證明可行的路徑，蘋果、華為和三星都通過自研芯片實現了差異化，并成功占領了高端手機市場。實際上，要沖擊世界第一的小米早在2014年就踏上了芯片自研之路，在2017年發布了首款手機SoC澎湃S1，但體驗不盡人意。

　　有業內人士對雷鋒網表示：“澎拜S1失敗一個非常關鍵的原因是太急于求成。”

　　研發SoC受挫，小米又在2019年研發了一款ISP芯片澎湃C1，這款芯片與2021年3月發布的小米折疊屏手機MIX FOLD同時亮相，能夠實現更好的3A（自動對焦，自動白平衡，自動曝光）處理，自研ISP+自研算法也順勢成為這款旗艦手機的一大賣點。

　　這邊MIX FOLD已經開賣，那邊OPPO和VIVO也在自研芯片的道路上快步前行。

　　2019年9月，VIVO執行副總裁胡柏山透露其在2018年初就開始考慮深度參與SoC的設計中，并在當年年底發布了與三星聯合研發的SoC芯片Exynos 980。雖然已經深度參與SoC研發，但自研才是VIVO的目標。界面新聞7月報道，VIVO內部代號“悅影”的首款自研芯片即將推出，可能也是ISP芯片，將會在X70系列手機上首發。

　　OPPO公布自研芯片的進展相對較晚，2020年2月OPPO CEO特別助理發布內部文章提出了芯片、軟件開發、云服務的三大計劃，其中芯片項目名為“馬里亞納計劃”。有消息人士爆料，OPPO自研的首款芯片也是ISP芯片，將在2022年初上市的Find X4系列手機上首發。

　　這就意味著，“困”在第三方手機SoC里的三大手機巨頭，明年將會進入新一輪的芯片比拼。但為什么是ISP芯片？

　　自研ISP的四大理由

　　自2017年全球手機市場增速開始下降，手機廠商們的競爭就愈加激烈。今日頭條發布的2018年手機行業營銷白皮書指出，2018年手機功能營銷的競爭點趨于集中，AI類特性有8個、屏幕類5個、解鎖方式和配色各4個，其中，AI功能又以AI拍照和攝影類居多。

　　此后的三年間，手機行業對于攝像頭的關注只增不減，2020騰訊手機行業洞察白皮書指出，消費者對攝像頭、用途和電池的關注度顯著提升，其中攝像頭的關注度增長率僅次于操作系統。

　　“影像系統其實是一個很長的鏈條，包括前端傳感器、鏡頭、馬達，承載圖像處理的核心部件——ISP芯片，以及后端標定和調優等過程。”安謀科技高級產品經理柴衛華對雷鋒網表示。

　　“相同的鏡頭和傳感器經過不同的ISP，也會有不同的效果。”愛芯科技ISP負責人、系統架構師張興同時表示，“ISP的價值是提升圖像質量。但ISP是非標準化的芯片IP，既有客觀的性能指標，比如攝像頭的數量、分辨率幀率、帶寬、功耗、延遲等。也有比較難以完全客觀化的圖像評價指標，包括亮度指標（動態范圍、對比度、曝光準確和速度等）、色彩相關指標（飽和度、色彩準確度、悅目程度等）、清晰度等。從經驗中來，關于圖像主觀和客觀的測試，大概有40-60種甚至更多。” 愛芯科技是一家AI視覺芯片創業公司，AI ISP是其自研技術之一。

　　雖然對于好畫質很難有統一的標準，但亮度、色彩和清晰度也有一些客觀指標，比如有標準的顏色模型衡量色差。“在客觀指標達到一定程度之后，客戶通常也會根據不同的需求去調整主觀指標。ISP的一個特點是有很多的可調參數，工程師可以調整設計好的ISP硬件參數以適應不同的環境。一款好的通用ISP，要提供有足夠靈活性和具備可擴展性。”柴衛華指出。

　　影像功能是消費者關注的重點，而ISP是實現差異化的關鍵，并且手機出貨量巨大，自研芯片如果成功最終可以轉化為整機的成本優勢，這是手機巨頭們選擇自研ISP的初始動力，也是第一個理由。

　　“華為能夠用自研的NPU+ISP實現獨具特色的AI拍照功能，相比之下，使用高通和聯發科SoC的手機廠商發揮的空間會受到限制。”耀途資本投資總監于光說，“由于硬件迭代的周期比較長，手機廠商的需求也不能被快速滿足，特別是差異化的需求，自研ISP芯片實現硬件和軟件的緊密結合是一個不錯的選擇。”

　　張興進一步解釋，ISP一旦設計完成，可供調的參數大致就確定了，但是這些參數是有限的，如果想要提供調試出所有風格的可調參數，芯片面積又會很大到無法承受，這中間需要進行平衡。

　　想要實現差異化的手機廠商們，在影像系統領域有了多年的積累，也就有了自研ISP的底氣，這也是手機廠商選擇自研ISP的第二個理由。

　　研發ISP芯片的可行性是手機廠商堅定邁入自研芯片之路的關鍵，也是第三個理由。億智電子創始人兼CEO陳峰說：“由于ISP芯片更加專用，研發ISP在生態上的限制小很多。研發ISP的主要挑戰主要有三點：由于圖像算法每年都有新的方法，技術在不斷迭代；另外，圖像的效果需要在滿足圖像測試客觀指標之外，也需要在主觀效果可調整性上下功夫；最后是需要適應不同的場景，ISP要能夠做到自適應調整好各個環境下的參數。”

　　芯片公司最寬的護城河就是生態，既然ISP芯片的生態限制相對較小，再加上手機廠商在算法以及對場景需求的理解上已經有豐富的經驗，并且已經各有特色，特別是在場景適應方面，手機廠商都有豐富的經驗。

　　手機廠商研發ISP，還有適應未來視頻攝影+AI功能競爭的長遠價值，這是第四個理由。

　　“手機廠商已經在拍照中享受到了AI算法帶來的好處，包括超級夜景、AI美顏等功能，從趨勢來看未來幾年，AI拍照最火的幾個功能會從拍照推向視頻。這就需要一顆高效的AI ISP芯片，以及將AI算法和傳統ISP進行更好的結合。”張興認為。

　　柴衛華也認為：“隨著短視頻的需求發展，手機也越來越重視視頻拍攝的性能。視頻流對于ISP除了有畫質的要求之外，非常重要的挑戰就是實時性。要實時處理4K甚至8K視頻的海量數據，呈現完美的影像效果，處理器性能、算法優異、存儲帶寬和與系統延遲都是挑戰。”

　　AI是提升拍照和視頻效果的關鍵。陳峰指出，目前AI與ISP結合主要有兩種形式，一種是ISP For AI，這種結合方式主要用于檢測或識別功能的產品，目標是保證檢測或識別的準確率，比如人臉門禁以及輔助駕駛。另一種是AI For ISP，這種結合是用AI替換ISP中的一個或多個圖像增強算法，在包括HDR（高動態范圍）、夜景降噪、超級分辨率等方面有較好的效果。

　　“近幾年，手機業界發現在目前AI算力的支持下，AI算法已經超越了傳統ISP算法的效果，因此目前主流的趨勢是用AI算法替代一個傳統算法，或者將AI算法與傳統算法結合。”張興進一步表示，“要充分發揮NPU算力與ISP結合的價值，實現真正意義上的AI ISP，需要在設計的最初就將兩個IP結合起來設計。如果是買來的IP，兩者結合實現好的功能難度很大，即便實現，也會有大量的功耗和芯片面積的浪費。”

　　陳峰具體指出，“在視頻應用領域，效果稍微好的AI降噪算法，實時處理1080p@30fps視頻就需要10Tops以上的算力，目前這種應用方案還比較少。”

　　總體看來，消費者對手機更好拍照和攝影功能的追求是原動力，在手機廠商有手機多年影像技術積累的前提下，自研ISP芯片成為了手機廠商可實現的目標，而將AI+ISP的能力從拍照延伸至視頻領域能夠提升手機廠商當下和未來的競爭力。自研ISP芯片自然成了手機廠商們不約而同的選擇。

　　沖擊高端成敗的關鍵在“決心”

　　接下來的關注點是，自研ISP芯片到底能帶來哪些不同？已經發布的小米澎湃C1，官方的說法是自研ISP將數字信號處理效率提升100%，可以進行更精細、更先進的3A處理。

　　業內一位資深人士說：“澎湃C1實際上是一個協處理器，或者說Pre-ISP，在SoC ISP前進行圖像處理，相對而言會比較容易處理，能夠輔助處理一些特定場景的應用。不過，由于是在SoC外單獨增加了一顆芯片，因此無論是成本還是功耗都會有所增加。”

　　至于實際的使用體驗是否有明顯的速度和質的提升，還需要更多的用戶反饋。

　　手機廠商的自研ISP要從賣點真正轉化為差異化優勢，ISP團隊非常重要。“ISP的發展一直在進步，遠還沒到成熟的階段。要設計出有競爭力的ISP芯片，取決于隊伍自身的成熟性。有公司做了十多年ISP，也沒有進入行業的一流水平。當然，這也與一家公司對于ISP的認知以及投入有很大的關系。”張興表示。

　　業內資深人士也表示，“手機廠商自研芯片成敗的關鍵在于投入的決心，特別是SoC。”

　　但國內整個芯片行業都缺人才，想要組建有豐富經驗的ISP團隊挑戰巨大。柴衛華說：“ISP研究與發展涉及到算法、電路設計、系統整合、器件調較、畫質調優等多方面。因此相應的人才要求不僅專，而且廣，除了需要掌握數學、物理、計算機、集成電路的知識，還需要有光學、顏色等學科知識。國內在這一領域的積累還比較有限，所以相關人才也比較缺乏。”

　　“國內在手機ISP領域有豐富經驗的人才本來就比較有限，不過現在華為海思的不穩定，展銳也有一些相關的人才，這都是其它公司獲取人才的機會。”業內資深人士表示。

　　“即便能設計出有競爭力的ISP。要讓消費者對手機廠商的自研芯片有認知也需要時間，我認為這至少需要2-3代的迭代。” 一位芯片行業的分析師對雷鋒網表示，“我認為小米和OPPO自研芯片從現金流的角度會更有優勢，而VIVO挑戰會更大一些。”

　　該分析師同時表示：“自研ISP主要會用于高端手機，因此對高通的影響可能會大一些。”

　　有意思的是，聯發科在今年七月份發布了天璣5G開放架構的平臺，基于其旗艦SoC為手機廠商提供更接近底層的開放資源，包括相機、顯示器、圖形、AI處理單元、傳感器和無線連接等子系統。這既可以理解為順應手機廠商自研芯片追求差異化的趨勢，也可以理解為阻擋手機廠商自研SoC的舉措。

　　無論如何，自研芯片都是手機廠商站上手機市場金字塔頂端的必選項，但這條路在時間、技術和資本投入方面都充滿挑戰，高通和聯發科在手機SoC領域都有幾十年的積累，蘋果和華為也是經歷十多年的努力和迭代才取得了如今的成就，而小米、OPPO、VIVO才剛剛開始。

　　小米ISP芯片架構師左坤隆在《強國基石》的紀錄片中透露，ISP只是小米自研芯片的起點，其SoC同樣也在研發中。

　　據悉，小米和OPPO都在上海大力招聘芯片人才，有消息稱OPPO芯片團隊的人數已經超過千人。他們是要直接要研發一款SoC芯片還是會研發其它單芯片？上述分析師認為電源管理芯片是不錯的選擇，因為快充也是手機的一大賣點。

　　于光指出，在電源管理芯片市場已經有一些不錯的創業公司，手機巨頭們在這一領域也已經投資了多家公司。

　　熱鬧過后，誰會是下一個擁有自研SoC高端手機玩家？

　　作者 | 包永剛

　　編輯 | 李帥飛