4萬億個電晶體,90萬個AI核心,Cerebras第三代晶圓級AI晶片來了

首頁 > 科技

4萬億個電晶體,90萬個AI核心,Cerebras第三代晶圓級AI晶片來了

來源:龍貓 釋出時間:2024-03-15 12:25

4萬億個電晶體,90萬個AI核心,Cerebras第三代晶圓級AI晶片來了

3月14日訊息,面對火爆的AI市場,新創AI晶片公司Cerebras Systems近日推出了其第三代的晶圓級AI晶片WSE-3,效能達到了上一代WSE-2的兩倍,將用於訓練業內一些最大的人工智慧模型。

據介紹,WSE-3依然是採用了一整張12英寸晶圓來製作,基於臺積電5nm製程,芯片面積為46225平方毫米,擁有的電晶體數量達到了4萬億個,擁有90萬個AI核心,44GB片上SRAM,整體的記憶體頻寬為21PB/s,結構頻寬高達214PB/s。使得WSE-3具有125 FP16 PetaFLOPS的峰值效能,相比上一代的WSE-2提升了1倍。

作為對比,WSE-2芯片面積同樣是46225平方毫米,基於臺積電7nm製程,電晶體數量為2.6萬億個,AI核心數量為85萬個,片上記憶體SRAM為40GB,記憶體頻寬為20PB/s,結構頻寬高達220PB/s。

如果將其與英偉達的H100相比,WSE-3面積將是H100的57倍,核心數量是H100的52倍,片上記憶體是H100的880倍,記憶體頻寬是H100的7000倍,結構頻寬是H100的3715倍。

與此同時,Cerebras還推出了基於WSE-3的CS-3超級計算機,可用於訓練引數高達24萬億的人工智慧模型,這比相比基於WSE-2和其他現代人工智慧處理器的超級計算機有了重大飛躍。該超級計算機可以支援1.5TB、12TB或1.2PB的外部記憶體,這使它能夠在單個邏輯空間中儲存大量模型,而無需分割槽或重構,從而簡化了訓練過程,提高了開發人員的效率。

最新的 Cerebras 軟體框架可以為PyTorch 2.0 和最新的 AI 模型和技術(如多模態模型、視覺轉換器、專家混合和擴散)提供原生支援。Cerebras 仍然是唯一為動態和非結構化稀疏性提供本機硬體加速的平臺,相比英偉達的DGX-100計算機系統,將訓練速度提高了8 倍。

Cerebras還強調了CS-3卓越的電源效率和易用性。儘管效能翻了一番,CS-3仍保持著與前代產品相同的功耗。它還簡化了大型語言模型(LLM)的訓練,與GPU相比,所需程式碼減少了97%。例如,該公司表示,GPT-3大小的模型在Cerebras平臺上只需要565行程式碼。

就可擴充套件性而言,CS-3可以配置在多達2048個系統的叢集中。這種可擴充套件性使其能夠在四個系統的設定下,在一天內微調700億個引數模型,並在同一時間段內全面從頭開始訓練Llama 70B模型。

Cerebras表示,該公司已經看到了外界對CS-3的巨大興趣,並有來自各個行業的大量訂單積壓,包括企業、政府和公有云廠商。Cerebras還與美國阿貢國家實驗室和梅奧診所等機構合作,強調了CS-3在醫療保健方面的潛力。

Cerebras和G42之間的戰略合作伙伴關係也將隨著Condor Galaxy 3的建設而擴大,這是一款人工智慧超級計算機,擁有64個CS-3系統(擁有57600000個核心)。這兩家公司已經共同建立了世界上最大的兩臺人工智慧超級計算機:Condor Galaxy 1 (CG-1)和Condor Galaxy 2(CG-2),它們位於加利福尼亞州,綜合性能為8個ExaFLOP。這一合作伙伴關係的目標是在全球範圍內提供數十個exaFLOP的人工智慧計算。

上一篇:抖音月付有額... 下一篇:看完蒙古人一...
猜你喜歡
熱門閱讀
同類推薦