編譯 | 長頸鹿編輯 | 香草
智東西4月24日報道，4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。
Phi-3-mini作為微軟Phi系列的第四代產品，以其38億引數和3.3T tokens的龐大訓練資料量，在語言、推理、編碼和數學基準測試中超越了眾多數百億引數規模的模型。
此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯並執行不同型別的指令。
與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和執行。據稱，該模型可以作為聊天機器人離線訪問，且具有不亞於GPT-3.5的效能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比於其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
據微軟研究團隊稱，Phi-3-mini小體積、高效能的創新歸功於由合成數據組成的資料集。該資料集由大量已過濾的網路資料和其他AI製作的兒童讀物中的合成數據組成。
微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。
目前有三個平臺可以獲取Phi-3-mini：
Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml
Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama：https://ollama.com/library/phi3
一、“小而美”的模型，Phi-3-mini優於兩倍其尺寸模型
據微軟官網稱，Phi-3模型是目前能力最強、價效比最高的小型語言模型（SLM），其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規模甚至更大型模型的能力。
Phi-3-mini包含兩種上下文長度的規模，分別是4k和128k tokens，其中128k tokens的上下文視窗支援在同類模型是首次實現，且對模型質量的影響微乎其微。此外，該模型經過指令微調，能夠以自然語言方式響應和執行多種指令，確保了其即時可用性。
Phi-3模型在小尺寸上具有突破性的效能。根據微軟研發團隊的測試，Phi-3模型在基準測試中優於相同尺寸和更大尺寸的語言模型。其中，Phi-3-mini的效能優於其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的效能優於更大的模型，包括GPT-3.5 Turbo。
根據效能對照表，Phi-3-mini的兩個變體於基準測試的19個對比項中，有17項勝過Gemma-7b模型，18項勝過Mistral-7b模型，11項勝過Llama-3-8B模型。但也有11項次於GPT3.5-Turbo模型，17項次於Claude-3 Sonnet模型。
▲Phi-3系列基準測試對照表（圖源：微軟）
此外，微軟還在學術報告中稱Phi-3模型的整體效能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。
Phi系列模型的起源於微軟研究部門，已經被廣泛使用，其中Phi-2下載量超過200萬次。從用於Python編碼的Phi-1開始，到增強推理和理解的Phi-1.5，再到27億引數的Phi-2，Phi系列在語言理解方面超越了其25倍引數大小的模型。
微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B），旨在為Azure AI和其他模型庫提供更靈活的選擇。
二、Phi-3遵循安全和高質，Phi-3-mini為多個平臺專門最佳化
Phi-3模型的設計遵循了微軟的“負責任AI標準”，包括問責制、透明度、公平性、可靠性與安全性、隱私與安全和包容性。Phi-3模型經歷了嚴格的安全度量和評估、紅隊測試、敏感用途審查，並遵循安全指南，以確保這些模型在開發、測試和部署過程中都符合微軟的標準和最佳實踐。
Phi-3模型在訓練過程中採用了高質量的資料，這是基於先前的Phi模型工作的延續。它們還通過了廣泛的安全後訓練，包括從人類反饋中進行的強化學習（RLHF）、在數十個傷害類別上進行的自動測試和手動紅隊測試。
此外，Phi-3-mini在Azure AI上配備了一套完整的部署、評估和微調工具鏈，並透過Ollama平臺使開發者能夠在本地膝上型電腦上執行。模型還針對ONNX Runtime進行了最佳化，支援Windows DirectML，並且實現了跨平臺支援，包括GPU、CPU和移動硬體。
同時，Phi-3-mini也作為英偉達推理微服務（NVIDIA NIM）提供，具備可廣泛部署的標準API介面，並對英偉達GPU進行了專門最佳化。
三、Phi-3提供離線推理場景，AI解決方案已落地印度
微軟公司透過提供Copilots幫助客戶用生成式AI進行業務轉型。他們認為，不同任務對質量成本曲線上不同規模模型的需求正日益增長。
小語言模型，如Phi-3，特別合用於以下情況：資源受限的環境，包括裝置上和離線推理場景；延遲約束的場景，快速響應時間至關重要；以及成本受限的用例，特別是那些具有較簡單任務的用例。
由於尺寸較小，Phi-3模型可以在計算受限的推理環境中使用，特別是Phi-3-mini可以在端側使用。Phi-3模型的較小尺寸還使得微調或定製變得更加容易和更具成本效益。此外，較低的計算需求使其成本更低，延遲更好。較長的上下文視窗使其能夠處理和推理大量的文字內容，如文件、網頁、程式碼等。
微軟的一些客戶已經開始使用Phi-3構建解決方案。比如農業領域，Phi-3模型為農民提供了更便捷、更經濟的解決方案，並幫助他們在沒有不亂網際網路連線的情況下使用AI技術。
印度一家領先的商業集團ITC正在將Phi-3模型用於Krishi Mitra（一款面向農民的應用程式）內，幫助印度農民透過技術手段獲得更好的農業解決方案。據悉，該應用已經覆蓋了超過一百萬名農民。
結語：大小模型相輔相成，離線AI聊天已成現實
微軟的Phi-3模型設計的初衷旨在相容多種裝置。Phi-3與Stability AI的Zephyr、谷歌的Gemini Nano和Anthropic的Claude 3 Haiku等小型模型一樣，能夠在端側執行，而無需依賴網際網路連線。
儘管雲端大模型在效能上全面超越小模型，但它們也存在一些侷限性，包括較高的成本、執行速度以及對網際網路連線的依賴。相比之下，Phi-3允許使用者在沒有網路的情況下與虛擬助手進行互動，能夠在不上傳資料的前提下實現內容總結，解決了AI領域的一部分弊端。
未來這類模型有望與智慧手機整合，甚至可能內置於常用家電中，為使用者的生活提供個性化建議。我們期待AI變得越來越生活化，也期待小語言模型在未來的進步。
編譯 | 長頸鹿編輯 | 香草
智東西4月24日報道，4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。
Phi-3-mini作為微軟Phi系列的第四代產品，以其38億引數和3.3T tokens的龐大訓練資料量，在語言、推理、編碼和數學基準測試中超越了眾多數百億引數規模的模型。
此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯並執行不同型別的指令。
與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和執行。據稱，該模型可以作為聊天機器人離線訪問，且具有不亞於GPT-3.5的效能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比於其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
據微軟研究團隊稱，Phi-3-mini小體積、高效能的創新歸功於由合成數據組成的資料集。該資料集由大量已過濾的網路資料和其他AI製作的兒童讀物中的合成數據組成。
微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。
目前有三個平臺可以獲取Phi-3-mini：
Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml
Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama：https://ollama.com/library/phi3
一、“小而美”的模型，Phi-3-mini優於兩倍其尺寸模型
據微軟官網稱，Phi-3模型是目前能力最強、價效比最高的小型語言模型（SLM），其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規模甚至更大型模型的能力。
Phi-3-mini包含兩種上下文長度的規模，分別是4k和128k tokens，其中128k tokens的上下文視窗支援在同類模型是首次實現，且對模型質量的影響微乎其微。此外，該模型經過指令微調，能夠以自然語言方式響應和執行多種指令，確保了其即時可用性。
Phi-3模型在小尺寸上具有突破性的效能。根據微軟研發團隊的測試，Phi-3模型在基準測試中優於相同尺寸和更大尺寸的語言模型。其中，Phi-3-mini的效能優於其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的效能優於更大的模型，包括GPT-3.5 Turbo。
根據效能對照表，Phi-3-mini的兩個變體於基準測試的19個對比項中，有17項勝過Gemma-7b模型，18項勝過Mistral-7b模型，11項勝過Llama-3-8B模型。但也有11項次於GPT3.5-Turbo模型，17項次於Claude-3 Sonnet模型。
編譯 | 長頸鹿編輯 | 香草
智東西4月24日報道，4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。
Phi-3-mini作為微軟Phi系列的第四代產品，以其38億引數和3.3T tokens的龐大訓練資料量，在語言、推理、編碼和數學基準測試中超越了眾多數百億引數規模的模型。
此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯並執行不同型別的指令。
與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和執行。據稱，該模型可以作為聊天機器人離線訪問，且具有不亞於GPT-3.5的效能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比於其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
據微軟研究團隊稱，Phi-3-mini小體積、高效能的創新歸功於由合成數據組成的資料集。該資料集由大量已過濾的網路資料和其他AI製作的兒童讀物中的合成數據組成。
微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。
目前有三個平臺可以獲取Phi-3-mini：
Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml
Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama：https://ollama.com/library/phi3
一、“小而美”的模型，Phi-3-mini優於兩倍其尺寸模型
據微軟官網稱，Phi-3模型是目前能力最強、價效比最高的小型語言模型（SLM），其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規模甚至更大型模型的能力。
Phi-3-mini包含兩種上下文長度的規模，分別是4k和128k tokens，其中128k tokens的上下文視窗支援在同類模型是首次實現，且對模型質量的影響微乎其微。此外，該模型經過指令微調，能夠以自然語言方式響應和執行多種指令，確保了其即時可用性。
Phi-3模型在小尺寸上具有突破性的效能。根據微軟研發團隊的測試，Phi-3模型在基準測試中優於相同尺寸和更大尺寸的語言模型。其中，Phi-3-mini的效能優於其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的效能優於更大的模型，包括GPT-3.5 Turbo。
根據效能對照表，Phi-3-mini的兩個變體於基準測試的19個對比項中，有17項勝過Gemma-7b模型，18項勝過Mistral-7b模型，11項勝過Llama-3-8B模型。但也有11項次於GPT3.5-Turbo模型，17項次於Claude-3 Sonnet模型。
編譯 | 長頸鹿編輯 | 香草
智東西4月24日報道，4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。
Phi-3-mini作為微軟Phi系列的第四代產品，以其38億引數和3.3T tokens的龐大訓練資料量，在語言、推理、編碼和數學基準測試中超越了眾多數百億引數規模的模型。
此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯並執行不同型別的指令。
與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和執行。據稱，該模型可以作為聊天機器人離線訪問，且具有不亞於GPT-3.5的效能。
Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比於其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
據微軟研究團隊稱，Phi-3-mini小體積、高效能的創新歸功於由合成數據組成的資料集。該資料集由大量已過濾的網路資料和其他AI製作的兒童讀物中的合成數據組成。
微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。
目前有三個平臺可以獲取Phi-3-mini：
Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml
Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama：https://ollama.com/library/phi3
一、“小而美”的模型，Phi-3-mini優於兩倍其尺寸模型
據微軟官網稱，Phi-3模型是目前能力最強、價效比最高的小型語言模型（SLM），其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規模甚至更大型模型的能力。
Phi-3-mini包含兩種上下文長度的規模，分別是4k和128k tokens，其中128k tokens的上下文視窗支援在同類模型是首次實現，且對模型質量的影響微乎其微。此外，該模型經過指令微調，能夠以自然語言方式響應和執行多種指令，確保了其即時可用性。
Phi-3模型在小尺寸上具有突破性的效能。根據微軟研發團隊的測試，Phi-3模型在基準測試中優於相同尺寸和更大尺寸的語言模型。其中，Phi-3-mini的效能優於其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的效能優於更大的模型，包括GPT-3.5 Turbo。
根據效能對照表，Phi-3-mini的兩個變體於基準測試的19個對比項中，有17項勝過Gemma-7b模型，18項勝過Mistral-7b模型，11項勝過Llama-3-8B模型。但也有11項次於GPT3.5-Turbo模型，17項次於Claude-3 Sonnet模型。
