微軟最近發(fā)布了一款名為Phi-3 Mini的輕量級人工智能模型，該模型被設計為能在智能手機和其他本地設備上運行。這款擁有38億參數(shù)的模型是微軟即將發(fā)布的三個Phi-3系列語言模型中的首個。其目標是為云驅(qū)動的大型語言模型提供一個更經(jīng)濟實惠的替代方案，使得規(guī)模較小的組織也能采用人工智能技術。

微軟表示，Phi-3 Mini的性能輕松超越了之前的Phi-2小型模型，并且與Llama 2等大型模型不相上下。令人驚訝的是，這款新模型的響應能力接近于那些參數(shù)規(guī)模是其10倍的模型。

研究團隊在論文中指出，這一創(chuàng)新的關鍵在于他們所使用的訓練數(shù)據(jù)集。該數(shù)據(jù)集以Phi-2模型為基礎，但融入了“經(jīng)過嚴格過濾的網(wǎng)絡數(shù)據(jù)和合成數(shù)據(jù)”。這種獨特的數(shù)據(jù)集構建方式受到了兒童讀物的啟發(fā)，這些讀物使用更簡單的語言來闡述復雜的主題，從而有效地使較小的語言模型能夠發(fā)揮更高的效能。

盡管Phi-3 Mini在某些方面可能還無法與云驅(qū)動的大型語言模型相媲美，但它在從數(shù)學到編程再到學術測試的各項任務中，都展現(xiàn)出了超越Phi-2和其他小型語言模型（如Mistral、Gemma、Llama-3-In）的實力。更重要的是，這款模型可以在像智能手機這樣簡單的設備上運行，而且無需互聯(lián)網(wǎng)連接。

然而，Phi-3 Mini的主要限制在于其“事實知識”的廣度，這主要是由于其訓練數(shù)據(jù)集相對較小。因此，在“TriviaQA”測試中，它的表現(xiàn)并不出色。盡管如此，對于那些只需要處理較小內(nèi)部數(shù)據(jù)集的模型來說，這仍然是一個不小的進步。微軟希望，通過推出這樣的模型，能夠讓那些無力承擔云連接大型語言模型費用的公司也能接觸到人工智能技術。

目前，Phi-3 Mini已經(jīng)在Azure、Hugging Face和Ollama等平臺上提供。微軟接下來還計劃發(fā)布功能更為強大的Phi-3 Small和Phi-3 Medium模型，它們分別擁有70億和140億個參數(shù)。