來源：生活裡的創意 釋出時間：2024-03-24 16:23

三十年前，CPU和其他專用處理器處理幾乎所有計算任務。那個時代的顯示卡可以加速Windows和應用程式中2D形狀的繪製，但沒有其他用途。

快進到今天，GPU已經成為行業中最主要的晶片之一。

如今，GPU不再僅僅是用於圖形處理的裝置——實際上機器學習和高效能計算已經嚴重依賴於這個看似微不足道的GPU的處理能力。讓我們一起探討這一晶片是如何從一個樸素的畫素處理器演變成具有強大浮點計算能力的核心裝置的。

起初CPU主宰一切

讓我們回到20世紀90年代末。高效能計算領域，涵蓋了超級計算機上的科學研究、標準伺服器上的資料處理以及工作站上的工程和設計任務，完全依賴於兩種型別的CPU：1）專為某一特定目的而設計的專用處理器；2）來自AMD、IBM或英特爾的現成晶片。

ASCI紅色超級計算機是1997年最強大的超級計算機之一，由9,632顆英特爾奔騰II Overdrive處理器組成（如下圖所示）。每個處理器單元執行在333 MHz的頻率下，系統的理論峰值計算效能達到了超過3.2 TFLOPS（每秒萬億次浮點運算）。

來源：維基百科

在本文中，我們經常會提及TFLOPS，因此有必要花一些時間來解釋一下它的含義。在計算機科學中，浮點數（floating points，簡稱浮點）是表示非整數值的資料型別，例如6.2815或0.0044。整數值常用於進行控制計算機及其上執行的任何軟體所需的計算。

浮點數對於精度至關重要的情況至關重要，尤其是與科學或工程相關的任何事物。即使是一個簡單的計算，比如求圓的周長，也至少涉及到一個浮點數值。

多年來，CPU一直擁有用於在整數和浮點數上執行邏輯運算的單獨電路。在前文提到的奔騰II過載版中，它可以在每個時鐘週期內執行一個基本的浮點操作（乘法或加法）。理論上，這就是為什麼ASCI Red的浮點峰值效能為9,632個CPU x 3.33億個時鐘週期 x 1操作/週期 = 3,207,456百萬FLOPS。

這些資料是基於理想條件（例如，使用最簡單的指令處理適合快取的資料），在現實中很難實現。然而，它們為評估系統潛在效能提供了一個很好的參考。

其他超級計算機也擁有類似數量的標準處理器——位於勞倫斯利弗莫爾國家實驗室的藍色太平洋使用了5808個IBM的PowerPC 604e晶片，洛斯阿拉莫斯國家實驗室的藍色山脈（見上圖）容納了6144個MIPS Technologies R1000晶片。

要達到太浮點運算級別，需要數千個CPU，以及大量的RAM和硬碟儲存作為支援。因為這些裝置的數學需求如此之高，直到現在這種情況仍然存在。

當我們在學校的物理、化學和其他學科中第一次接觸方程式時，一切都是一維的。換句話說，我們對距離、速度、質量、時間等使用單一的數字。然而，為了準確地建模和模擬現象，需要更多的維度，數學進入了向量、矩陣和張量的領域。

這些在數學中被視為單一實體，但包含多個值，這意味著任何進行計算的計算機需要同時處理大量數字。考慮到當時的CPU每週期只能處理一到兩個浮點數，因此需要數千個CPU。

SIMD加入戰局：MMX，3DNow!和SSE

1997年，英特爾更新了Pentium CPU系列，引入了一項名為MMX的技術擴充套件——一組在核心內部利用八個附加暫存器的指令。每個暫存器被設計成儲存一到四個整數值。這種系統允許處理器在多個數值上同時執行單條指令，這種方法更為人所熟知的是SIMD（單指令，多資料）。

一年後，AMD推出了自己的版本，名為3DNow!。由於暫存器可以儲存浮點值，這使得3DNow!明顯優於MMX。又過了一年，英特爾在奔騰III中引入了SSE（流式單指令多資料擴充套件），解決了MMX中的問題。

3DNow! 首次亮相於 AMD K6-2 CPU。來源：Fritzchens Fritz

隨著時間推移，高效能計算機設計者們已經能使用可高效處理向量數學的標準處理器。

經過千百萬次的擴充套件，這些處理器可以同樣高效地處理矩陣和張量。儘管取得了這一進步，但超級計算機領域仍更青睞舊式或專用晶片，因為這些新擴充套件並未專為此類任務而設計。此外，還有另一種比AMD或Intel的任何CPU更擅長SIMD處理的迅速流行處理器：GPU。

在圖形處理器的早期，CPU處理場景中組成三角形的計算（因此，AMD為其SIMD實現使用了3DNow!這個名字）。然而，畫素的著色和紋理處理完全由GPU負責，並且這項工作的許多方面涉及到向量數學。

20多年前最好的消費級顯示卡，如3dfx Voodoo5 5500和Nvidia GeForce 2 Ultra，都是出色的SIMD裝置。然而，它們是為製作遊戲的3D圖形而建立，沒有其他用途。即使在專業市場上的顯示卡也完全專注於渲染。