來源：西紅柿 釋出時間：2023-08-23 16:02

來源：intel.cn

主機板上的PCle通道分為x1、x2、x4、x8 和x16幾種配置，通道數目越多意味著頻寬越高，插槽也就更長。我們組裝電腦時，GPU就通常安在x16插槽中。

PCle既可以作為介面，又可以作為通道。當它是介面的時候，可以插帶PCle介面的任何外設：顯示卡、無線網絡卡、USB介面、固態硬碟、音效卡等等，這個插槽裡面，就有我們的PCle Switch晶片。

PCIe Switch，即 PCIe 開關或 PCIe 交換機，主要作用是實現 PCIe 裝置互聯，像伺服器要實現CPU、GPU等元件互聯，就離不開它。

有了PCle Switch，PCle從端對真個連線，變成多條匯流排連線，有效拓展了鏈路，形成一個高速的PCIe網際網路絡，從而實現多裝置通訊。

PCle Switch的高可拓展性、低功耗、低延遲、高可靠性、高靈活性等上風，使之廣泛應用於機器學習、人工智慧、超融合部署和儲存系統中。

PCIe Switch連線多條PCIe匯流排，來源：PCI-SIG官網，中金公司研究部

計算機內部包含PCle等各種匯流排協議，讓我們拆開一臺AI伺服器內部看看。

以 NVIDIA HGX H100 8-GPU為例，8 塊 H100 GPU在全新的 FP8 精度下 AI 效能比上一代高 6 倍，可提供 900GB/s 的頻寬，該伺服器內部包含NVLink、PCIe和QPI等主機板匯流排。

NVLink方面，8張 GPU（H100）之間互聯主要透過4個第三代NV Switch 晶片來實現。每個H100 GPU共透過18個NVLink 4.0（5+4+4+5）連線到4個NVSwitch晶片。每個NVSwitch相當於一個完全無擁塞的交換機，與8張H100 GPU卡實現完全連線。

NVLink是英偉達基於PCle Gen4研發的新技術，是點對點的高速互聯技術，支援多達 16 個 GPU 或 CPU 的連線，可實現大規模的平行計算和深度學習練習。

英偉達A100、H100等GPU可以分PCle和NVLink兩種版本，GPU互聯時用的是不同通道。PCle版本的GPU互聯便是透過PCIe通道完成的，藉助PCIe switch，系統可以實現CPU-GPU，GPU-GPU的連線。

多個GPU之間連線，PCIe僅64GB/S，4個以上的GPU互聯就較為吃力了。跟著AI和高效能計算需求不斷增長，需要更大的互聯頻寬，NVLink的頻寬是雙向頻寬，如NVLink 3.0的頻寬可以達到7200 Gbit/s，即900 GB/s，顯著優於PCIe，而且在每GPU連線數目上限也高達18張，GPU的機能就可以施展到最大化，這也就是為啥黃老闆說買得越多省越多。

PCle方面，GPU與CPU之間透過PCIe 5.0匯流排實現互聯。圖中藍色方塊為 IP 網絡卡（CX7），既是網絡卡又能施展PCIe Switch（5.0）擴充套件功能，成為 CPU 與H100（GPU）之間互聯的橋樑。CPU之間則仍使用QPI匯流排進行通訊。

可以看出，一臺AI伺服器要實現GPU-CPU互聯，甚至是GPU之間的互聯，都離不開PCIe Switch晶片。來自博通SS26等晶片的需求普遍集中在伺服器終端，它們也恰是用於AI伺服器的PCle Switch晶片。

“AI伺服器要PCle 4.0、5.0及以上版本，做這類產品的廠商少，價格很貴。”一位伺服器專業人士告訴我們。

02

為什麼缺，有替換嗎？

伴隨著AI 伺服器、GPU等需求的增加，作為連線部件的PCle Switch需求也起來了。

目前用於AI伺服器的4.0、5.0版本屬於PCle Switch中的進步前輩版本。專業人士告訴我們，PCle Switch要看其支援的Lanes和Ports，引數越高，價格越貴。

PCIe最早由Intel於2001年提出，2003年正式推出PCIe 1.0版本，到2022年已迭代至6.0。根據PCI-SIG官網，伴隨人工智慧、自動駕駛、AR/VR等具有高運算要求的應用快速發展，處理器I/O頻寬每三年實現翻番，也促使PCIe基本上按照3年一代的速度更新演進。

PCle基本上均勻每3年更新一代，其單通道速率都在翻倍增長，總頻寬也在進步。2022年PCI-SIG 正式釋出PCIe 6.0 規範，這是PCIe問世以來變化最大的一代，每通道資料傳輸速率從PCIe 5.0的32GT/s翻番至64GT/s，除了頻寬和效率的晉升，還具有更低的延遲。2022年6月，PCI-SIG同盟公佈PCIe 7.0版規範，單條通道（x1）單向可實現128GT/s傳輸速率，計劃於2025年推出終極版本。

別看PCIe 7.0版規範都出來了，博通的PCle Switch 5.0最近也被大家到處掃貨，但業內人士告訴我們，市場上對PCIe 5.0的需求實際上還沒起來，“其一是目前大規模出貨的CPU基本是PCIe 4.0，其二是英偉達A100/A800和國產GPU、NPU等也都是PCIe 4.0。”

目前用量大的仍是高階PCIe 4.0，且缺貨比較嚴重，在現貨市場，原來單價2000-3000 RMB現在漲到大幾千，甚至1萬元，供貨週期變長許多。而低端4.0產品需求越來越少，普通伺服器為實現更大靈活度也往中高階走，供貨渠道不多，供貨週期也變長了，但價格只要小几千元。

因此博通PCle Switch 5.0這類晶片的起量還沒那麼快，“預計海內要在2024年下半年起量，到時候CPU才基本進級到PCIe 5.0。另外，英偉達H800也支援5.0版本，一些加速卡應該會加入到5.0生態。”

那麼一臺AI伺服器要用多少PCle Switch晶片，用量有多大？

我們從前文對AI伺服器的內部拆解可以看出，CPU和GPU之間互聯的需求量不多，主要的用量在GPU之間的互聯。

假如你用的是A100 80G PCIE的8卡AI伺服器，這裡面8張A100互聯可能就要用到大量的PCle Switch，而NVLink版本的頻寬進級更大，GPU之間不用PCle Switch。

不外，NVLink僅用於GPU之間，終極傳輸結果給GPU仍是走PCle，“目前伺服器都仍是X86架構，所以基本都是PCle的IP，Intel本身並未支援NVLink。”CPU與GPU互聯離不開PCle Switch。

頻寬的高低，也是決定PCle Switch用量的重要因素，“還要看主頻寬是多少，好比它裡面做了一個PCIe 5.0，64x，也就是說它可以同時產生64路PCle 5.0的x1（頻寬），那需求量就極大了。”

全球PCle Switch三大供應商，博通、微芯、祥碩科技三家，共據有全球約58%的份額。據博通官網先容，博通是PCI Express交換領域的領導者，出貨量超過10 億個，公司正透過行業領先的交換機系列以及新的重定時器解決方案推動資料中心連線的發展。

假如要替代這顆博通晶片，目前可替換的微芯也面臨缺貨，而國產即便有替換，國外主機板廠一般也不採用。據悉，美國一家新公司xconn-technology剛推出樣品，明年這時候就有對應產品上市。

跟著PCIe 在伺服器中應用越來越廣泛，PCIe Switch 的市場需求也被帶動起來。根據QYResearch的統計及猜測，2021年全球 PCIe 晶片市場銷售額達到了 7.9 億美元，預計2028年將達到 18 億美元，年複合增長率（CAGR）為 11.9%。

我們知道，除了蘋果，英偉達、博通和AMD最近乘著AI高潮都在臺積電積極投片出產。

這波博通PCIe Switch熱，與英偉達用於AI伺服器的GPU缺貨邏輯基本一致，那就是尚未實現大規模出貨，近期才追加擴產，一段時間內面臨供給不足。

博通也是受益於AI時代來臨的晶片大廠之一，除了與蘋果持續合作外，博通還陸續獲得了谷歌、Meta 等大廠的高階 ASIC 晶片訂單。博通作為通訊巨頭，這些訂單估計包括了PCIe Switch在內的不少通訊相關AI晶片。

博通FY23Q2財報顯示，博通目前AI營收佔半導體營收約15%，預計FY24晉升至25%；與其他晶片廠商比擬，博通在2-4月的單季營收同比增長了 8%，晶片業務表現超出市場預期。

博通還表示，AI相關部門產品從出產到交付需要超過6個月。博通CEO以為，未來傳統計算與AI計算會齊頭並進，AI增長更快，傳統計算不會消亡，未來增長一半來自傳統業務，一半來自AI。

03

結 語

據報道，AI伺服器將大幅推升伺服器均勻出貨單價（ASP）由8500至9000美元上漲到1萬美元以上，AI伺服器主要集中在今年第四季大量出貨。

AI練習的龐大資料，需要在各晶片之間高速無擁塞互聯。英偉達自己的NVLink、NVSwitch市場規模有限，而傳統CPU生態中的PCIe介面晶片及其他高速互聯晶片市場相對開放，PCIe Switch作為資料中心低功耗、高效能解決方案的核心一環，有望迎來高增長。根據Transparency市場調研機構資料，2019-2027年CAGR約15%，2027年全球PCIe Switch市場規模或將達到92億美元。

除了PCle Switch，AI伺服器需求帶動伺服器產業鏈上各環節價值增長，業內人士測算，相較普通雙路伺服器，AI伺服器核心器件單機價值量晉升倍數由高到低依次為GPU（24x）、DRAM（5.3x）、板內互聯介面晶片（3.3x）、電源治理（3x）、散熱（3x）、PCB（2.4x）、網絡卡（2.2x）和SSD（2x）。