訓練 GPT3-175B 模型最高快 180%,谷歌宣佈雲端 AI 晶片 TPU v5p

首頁 > 科技

訓練 GPT3-175B 模型最高快 180%,谷歌宣佈雲端 AI 晶片 TPU v5p

來源:怎樣不禿頂 釋出時間:2023-12-11 12:35

IT之家 12 月 7 日訊息,谷歌在推出全新大語言模型 Gemini 1.0 之外,還宣佈了增強版 Tensor Processing Unit(TPU)晶片,最新型號為 TPU v5p。

谷歌目前已經在 YouTube、Gmail、Google Maps、Google Play 和 Android 等產品服務中使用 TPU 晶片,最新版本是谷歌迄今為止功能最強大、可擴充套件性最強和最靈活的 AI 加速器晶片。

IT之家注:在效能方面,谷歌 TPU v5p 在 bfloat16 精度下,可以實現 459 teraFLOPS;在 Int8 精度下,可以實現 918 teraOPS

谷歌 TPU v5p 配備 95GB 的 HBM3 記憶體,記憶體頻寬為 2.76TB / sec,每個 Pod 最多有 8960 個加速核心,並自研搭載 600GB/sec 晶片互聯主控,可以更快、更準確地訓練 AI 模型。

與 TPU v4 相比,新發布的 TPU v5p 具有兩倍的 FLOPS(每秒浮點運算)和三倍的高記憶體頻寬提升。

谷歌表示在 BF16 精度下,訓練 OpenAI 擁有 1750 億引數的 GPT3,比此前的 TPU v4 AI 加速器晶片快 90%;如果在 Int8 精度下可以達到 180%。

每個 TPU v5p 加速器的執行費用為每小時 4.20 美元,這比 TPU v4(每小時執行費用為 3.22 美元)和 TPU v5e(每小時執行費用為 1.20 美元)貴一點。

IT之家 12 月 7 日訊息,谷歌在推出全新大語言模型 Gemini 1.0 之外,還宣佈了增強版 Tensor Processing Unit(TPU)晶片,最新型號為 TPU v5p。

谷歌目前已經在 YouTube、Gmail、Google Maps、Google Play 和 Android 等產品服務中使用 TPU 晶片,最新版本是谷歌迄今為止功能最強大、可擴充套件性最強和最靈活的 AI 加速器晶片。

IT之家注:在效能方面,谷歌 TPU v5p 在 bfloat16 精度下,可以實現 459 teraFLOPS;在 Int8 精度下,可以實現 918 teraOPS

谷歌 TPU v5p 配備 95GB 的 HBM3 記憶體,記憶體頻寬為 2.76TB / sec,每個 Pod 最多有 8960 個加速核心,並自研搭載 600GB/sec 晶片互聯主控,可以更快、更準確地訓練 AI 模型。

上一篇:讚美在花叢中... 下一篇:什麼是心情短...
猜你喜歡
熱門閱讀
同類推薦