4萬億個電晶體，單機可訓練比GPT-4大10倍的模型，最快最大的芯片面世

來源：天氣早知道釋出時間：2024-03-14 19:53

4萬億個電晶體，單機可訓練比GPT-4大10倍的模型，最快最大的芯片面世

機器之心報道

編輯：小舟、陳萍

剛剛，晶片創業公司 Cerebras 宣佈了該公司歷史上最重要的訊息，「我們釋出了世界上最快的晶片，該晶片擁有高達 4 萬億個電晶體。」

一直以來，Cerebras 一直在往「大」的晶片方面發展，此前他們釋出的晶圓級引擎（Wafer Scale Engine，WSE-1）面積比 iPad 還大。第二代 WSE-2 雖然在面積上沒有變化，但卻擁有驚人的 2.6 萬億個電晶體以及 85 萬個 AI 最佳化的核心。

而現在推出的 WSE-3 包含 4 萬億個電晶體，在相同的功耗和價格下，WSE-3 的效能是之前記錄保持者 WSE-2 的兩倍。

此次釋出的 WSE-3 是專為訓練業界最大的 AI 模型而打造的，基於 5 奈米、4 萬億電晶體的 WSE-3 將為 Cerebras CS-3 人工智慧超級計算機提供動力，透過 90 萬個人工智慧最佳化的計算核心，提供每秒 125 petaflops 峰值 AI 效能（1 petaflops 是指每秒 1,000,000,000,000,000（1 萬億）次浮點運算）。

WSE-3 呈正方形，邊長為 21.5 釐米（面積為 46225mm^2），幾乎是使用了整個 300 毫米矽片來製造一個晶片。這麼看來，憑藉 WSE-3，Cerebras 可以繼續生產世界上最大的單晶片了。

WSE-3 大尺寸到底是個什麼概念，在將其與 Nvidia H100 GPU 進行比較後發現，前者大了 57 倍，核心數量增加了 52 倍，晶片記憶體增加了 800 倍，記憶體頻寬增加了 7000 倍，結構頻寬增加了 3700 倍以上。而這些都是晶片實現高效能的基礎。

圖源：https://spectrum.ieee.org/cerebras-chip-cs3

下圖展示了 WSE-3 的特點：

WSE-3

前兩代晶圓級引擎的一些引數。圖源：https://twitter.com/intelligenz_b/status/1768085044898275534

配備 WSE-3 的 CS-3 計算機理論上可以處理 24 萬億個引數的大型語言模型，這比 OpenAI 的 GPT-4 等頂級生成式 AI 模型的引數高出一個數量級（據傳有 1 萬億個引數）。這麼看來，具有 24 萬億個引數的模型在一臺機器上執行成為可能。

圖源：https://www.servethehome.com/cerebras-wse-3-ai-chip-launched-56x-larger-than-nvidia-h100-vertiv-supermicro-hpe-qualcomm/

CS-3 擁有高達 1.2 PB 的巨大記憶體系統，旨在訓練比 GPT-4 和 Gemini 還大 10 倍的下一代前沿模型。24 萬億個引數的模型可以儲存在單個邏輯記憶體空間中，無需分割槽或重構，從而極大地簡化了訓練工作流程並提高了開發人員的工作效率。在 CS-3 上訓練 1 萬億個引數模型就像在 GPU 上訓練 10 億個引數模型一樣簡單。

上一篇：借唄會不會影... 下一篇：農村信用社三...