全球範圍內，“百模大戰”不斷進級，高階AI算力卡成為“硬通貨”。以英偉達為例，依據當前訂單情況和出產進度，現階段的A800/H800交貨時間都已經排到了今年年底與明年年初。英偉達（Nvidia）徹底“贏麻了”，也一度掀起資本追逐人工智慧晶片的高潮。
近日，位於矽谷的人工智慧晶片初創公司D-Matrix就成功收成1.1億美元（約合8.02億元人民幣）的B輪融資。此次融資領投方是新加坡頭部投資團體淡馬錫（Temasek），微軟、三星等著名科技巨頭以及加州Playround Global等眾多風險投資公司則紛紛跟投。此前，D-Matrix亦曾受到來自Marvell、海力士、愛立信等著名科技企業的投資。
01
進擊中的D-Matrix
成立於2019年的D-Matrix，是一家為滿意資料中心高效能計算和人工智慧算力而組建的晶片初創企業，此前一直專注於定製AI晶片的研發。其使命是憑藉創新性的“數字存算一體（DIMC）”架構，來解決計算-儲存整合問題，從而進步人工智慧算力的效率。
D-Matrix由兩位經驗豐富的AI硬體專家Sid Sheth（創始人兼執行長）和Sudeep Bhoja（創始人兼首席技術官）領導。兩位創始人在半導體領域有著超過20年的從業經歷，曾在半導體巨頭博通擔任過總監職位，並在國際半導體公司Inphi（現已被Marvell收購）擔任過高管職位。
業績方面，D-Matrix已經出貨了超過1億顆晶片，收益突破了10億美元（約合72.92億元人民幣）。根據聞名資料分析公司Crunchbase的調查顯示，D-Matrix現僅擁有11-50名員工。儘管員工數目相對較少，但自從OpenAI憑藉ChatGPT成功擊敗Google之後，此類以少勝多的情況好像變得更為常見了。
透過“數字存算一體”架構，D-Matrix的晶片能夠確保高效的AI程式碼執行，簡化資料處理流程，並實現對生成式AI（AIGC）需求的無縫響應。這些經由最佳化後的AI定製晶片，可以為OpenAI的ChatGPT等AIGC應用提供最佳的算力支援，這也是D-Matrix的市場潛力所在。
不外，為了在現階段避免與英偉達的直接競爭，D-Matrix的技術瞄準了人工智慧處理的“推理”部門，而不是AI大模型的練習部門。AI推理階段，是指利用練習好的模型，透過輸入新資料來推理出各種結論的過程。藉助神經網路模型進行計算，利用輸入的新資料來一次性獲得準確結論的過程。這也過程也被稱為猜測或推斷。
一般來說，根據承擔任務的不同，AI晶片可被分為練習AI晶片和推理AI晶片。其中，練習晶片被用於構建神經網路模型，注重絕對的計算能力。在此領域，英偉達佔據了強勢的市場主導地位。據最新資料顯示，在全球AI練習晶片市場，英偉達可佔到80%到95%份額。而推理晶片，則是利用神經網路模型進行推理猜測，產品往往更注重綜合指標，如單位能耗算力、時延、本錢等各方面表現都要考慮。D-Matrix主打的就是後者。
對於此次融資，D-Matrix創始人兼執行長Sid Sheth向媒體表示，D-Matrix計劃將新資金投資於旗艦產品Corsair平臺的商業化和人才招募。該平臺是一款PCI形狀的算力卡，採用DIMC架構和芯粒（Chiplet）技術，其創新性地支援將AI模型完全儲存於記憶體中，可有效進步推理效率，並降低功耗和本錢。
Corsair平臺引數（圖片來自於www.d-matrix.ai）
Corsair計劃於2024年全面推出，其可以與機器學習工具鏈和相關伺服器軟體配合使用。這些軟體主要由開源軟體構建。使用者只需簡樸操縱，即可快速將AI模型匯入到卡中，無需重新練習。
02
PK英偉達最強GPU
機能超9倍
儘管GPU在遊戲和“挖礦（出產加密貨泉）”方面表現出色，但對於AIGC來說，並非都是最佳選擇。好比執行AI推理時，往往需要大量特定的記憶體頻寬，而GPU的大部分時間處於空閒狀態，只是等待更多資料從DRAM中傳輸出來。這就為AI推理設定了機能上限，不僅讓吞吐量降低，延遲也會增加，同時還需要額外能量來進步功率和冷卻本錢。截至目前上述情況仍未有太大的變化，許多企業仍舊依賴堆大量的GPU去做AI練習和推理，導致本錢負擔高企。
以OpenAI為例，就身陷有熱度、沒收入的囧地。有呈文指出，ChatGPT天天要燒錢約70萬美元（約合509.65萬元人民幣），而這個數字還不包括招募和支付頂尖人才的薪資用度。以這樣的燒錢速度算，OpenAI甚至難以維持到明年年底。
OpenAI後續詳細如何規劃尚未可知，D-Matrix卻早已為AI推理的降費增效謀劃了新路徑。D-Matrix的旗艦產品Corsair C8卡包括2048個DIMC核心、1300億個電晶體和256GB LPDDR5 RAM。它擁有2400至9600 TFLOPS（每秒浮點運算次數）的計算機能，晶片間頻寬為1TB/s。憑藉在計算架構、電源能耗和低延遲軟體堆疊方面的立異突破，D-Matrix的Corsair C8在實際測試中擊敗了Nvidia H100，吞吐量超越了9倍，而執行本錢則降低了10倍至20倍，甚至在某些情況下可以降低60倍。
實測中Corsair C8吞吐量超越Nvidia H100的9倍
（圖片來自於www.d-matrix.ai）
舉個例子，假如有人想使用LLaMA2天生與維基百科一樣多的內容，她需要天生57億個詞元（Tokens）才能終極達到維基百科43億個單詞的量級。但是透過使用D-Matrix解決方案的單個推理節點，AI大模型可以在18小時內產出整個維基百科的資料量。
假如將 D-Matrix 技術與微軟低程式碼強化學習平臺 Project Bonsai 相結合，甚至還可以圍繞 DIMC平臺建立高效編譯器。Project Bonsai提供了訓練有素的RL署理的快速原型設計、測試和部署，以加速編譯器堆疊的開發過程。同時，結合D-Matrix的低功耗AI推理技術，該技術可提供比舊架構高出10倍的能效，使得編譯器的機能得到明顯晉升。
Sid Sheth表示：“目前因為推理本錢較高，生成式人工智慧在貿易上的應用仍面臨著挑戰，但是透過新的資金注入，我們將能夠比其他競爭對手更快地將貿易上可行的解決方案推向市場。”
微軟作為D-Matrix的投資方，表示將在明年採用D-Matrix的AI晶片到相關業務上，以緩解算力不足的問題。有機構猜測，未來兩年內，D-Matrix的年收入有望達到70~75萬美元（約合509.65~546.05萬元人民幣）。
03
大魚吃小魚
小魚未必找得到蝦米
今年，像D-Matrix這樣幸運地拿到融資的美國晶片初創公司，實際上已是少數。跟著英偉達在AI晶片市場上主導地位日益顯現，相關領域的晶片初創企業的日子並不好過，融資時遭遇挑戰更是家常便飯。資料統計，在2023年第二季度，晶片領域初創公司在美國的融資交易數目上較2022年同期暴降了80%。
對於晶片初創公司來說，將晶片從最初的設計階段推進到商用階段，可能至少需要超過5億美元（約合36.41億元人民幣）的投資，而一旦泛起投資者無法履約或者撤資，將快速割斷這些初創公司的現金流，導致生存危機。對於投資者來說，此類晶片初創公司不僅投資回報週期長，風險還極高，所以在全球經濟低迷的大環境下，往往更不願大量投入資金。
根據風險資本調研公司PitchBook的資料顯示，截至今年8月底，美國的晶片初創企業僅僅融資8.814億美元，而在2022年的前三個季度為17.9億美元。交易數目也從23宗降至4宗。
以AI晶片初創公司Mythic為例，此前共融資約1.6億美元，但到2022年時，現金已消耗殆盡，公司運營面臨停擺。所幸在今年3月份，該公司成功獲得了新的投資，儘管只有1300萬美元。
Mythic執行長Dave Rick表示，英偉達“間接”加劇了整個AI晶片行業的融資困境，由於投資者往往期待“投資那些回報豐厚的專案”。而英偉達的一家獨大，疊加全球經濟消極影響因素，讓週期性的半導體行業雪上加霜。
有晶片從業人員指出，現階段想融資愈發艱難，投資者會提出更為嚴苛的要求。好比公司需要至少擁有一種成熟產品，這個產品要麼已經在市場上銷售，要麼有能力在幾個月內釋出。另外，在融資金額方面也大不如前。今年以來，對晶片初創公司的金額僅在1億美元左右，而在2年前，對於晶片初創企業的新投資往往能夠達到2億或3億美金。
而如D-Matrix這樣的創業公司好像也不敢同英偉達正面硬剛，選擇了AI推理晶片賽道一樣。“只有少數公司真正有機會與英偉達競爭，”正如業內分析師Karl Freund表示。“D-Matrix 就是其中之一。他們使用不同的技術、不同的架構，好像可以產生更好的結果。”
04
存算一體受青睞
海內玩家知多少
實際上，D-Matrix備受關注的原因，一方面是面向AI推理的機能上風，另一方面採用了更加適合AI計算的存算一體理念。而“存算一體”並不是近幾年才被提出的新概念。早在上個世紀70年代，存算一體就已經被提出，只是受限於當時的晶片製造技術和算力需求，這一設想僅停留在理論研究階段。直到進入大資料和人工智慧時代，巨大的算力需求為存算一體架構的發展提供了新的舞臺。
當前，市面上的傳統晶片普遍都採用馮諾依曼架構。該架構的特點是將處理單元和儲存單元分開，需要進行計算時，處理單元從儲存單元中讀取資料進行處理，處理完成後再將資料返回儲存單元。然而，存算一體架構將儲存單元和處理單元合二為一，將資料和計算融合在同一片區域內。這樣做的好處是可以直接利用儲存器進行資料處理，從根本上消除了馮諾依曼架構計算儲存分離的問題。尤其在現代大資料和大規模並行的應用場景中，存算一體架構非常合用。
目前，國內外許多企業紛紛展開存算一體技術的研發，其中包括英特爾、IBM、華為、三星、阿里巴巴、SK海力士、美光、臺積電等一眾著名公司，幾乎都在積極佈局近存計算領域。據不完全統計，A股市場中涉及存算一體技術的公司，包括東芯股份、恆爍股份、羅普特、首都線上、長電科技、瀾起科技和潤欣科技等。同時，海內初創公司如千芯科技、億鑄科技、知存科技、蘋芯科技和後摩智慧等均獲資本市場青睞，其中多家更是連續兩年獲得融資支援。
以千芯科技為例，就已擁有面向資料中心的大算力計算板卡和計算IP核，以及多併發例項核心技術（該技術NVIDIA在2019年整合入GPU）。其可支援ARM核心Stacking，具備輕量GPU技術，可基於SRAM/RRAM/MARM儲存單元，可為客戶提供靈活易用的AI推理計算加速及一站式解決方案。透過千芯科技自研存算一體技術，可提供能效比超過10-100TOPS/W，優於其他型別AI晶片 10-40倍的吞吐量支援。
儘管全球範圍內無論學術界仍是工業界都開始對存算一體展開資源投入，但在大模型火起來之前，存算一體的研究仍是相對零散的技術攻關，缺乏面向大算力方向的整體佈局，亦缺乏主導的應用需求驅動，因此間隔大規模進入市場或許還需要一定的時間。
不外令人期待的是，大模型已然成為存算一體大算力晶片的核心應用場景，而它對算力能效和密度有強烈需求，這恰是存算一體的上風所在。為了面向大模型的部署，晶片從業者更需要對存算一體進行體系化佈局，包括演算法、框架、編譯器、工具鏈、指令集、架構、電路等各個層次方面的協同設計，以形成全棧式的體系、工具鏈和生態鏈。相信跟著存算一體晶片技術的進一步落地應用，AI大模型必將獲得新的機能奔騰，從而推動數智化時代的加速到來。
全球範圍內，“百模大戰”不斷進級，高階AI算力卡成為“硬通貨”。以英偉達為例，依據當前訂單情況和出產進度，現階段的A800/H800交貨時間都已經排到了今年年底與明年年初。英偉達（Nvidia）徹底“贏麻了”，也一度掀起資本追逐人工智慧晶片的高潮。
近日，位於矽谷的人工智慧晶片初創公司D-Matrix就成功收成1.1億美元（約合8.02億元人民幣）的B輪融資。此次融資領投方是新加坡頭部投資團體淡馬錫（Temasek），微軟、三星等著名科技巨頭以及加州Playround Global等眾多風險投資公司則紛紛跟投。此前，D-Matrix亦曾受到來自Marvell、海力士、愛立信等著名科技企業的投資。
01
進擊中的D-Matrix
成立於2019年的D-Matrix，是一家為滿意資料中心高效能計算和人工智慧算力而組建的晶片初創企業，此前一直專注於定製AI晶片的研發。其使命是憑藉創新性的“數字存算一體（DIMC）”架構，來解決計算-儲存整合問題，從而進步人工智慧算力的效率。
D-Matrix由兩位經驗豐富的AI硬體專家Sid Sheth（創始人兼執行長）和Sudeep Bhoja（創始人兼首席技術官）領導。兩位創始人在半導體領域有著超過20年的從業經歷，曾在半導體巨頭博通擔任過總監職位，並在國際半導體公司Inphi（現已被Marvell收購）擔任過高管職位。
業績方面，D-Matrix已經出貨了超過1億顆晶片，收益突破了10億美元（約合72.92億元人民幣）。根據聞名資料分析公司Crunchbase的調查顯示，D-Matrix現僅擁有11-50名員工。儘管員工數目相對較少，但自從OpenAI憑藉ChatGPT成功擊敗Google之後，此類以少勝多的情況好像變得更為常見了。
透過“數字存算一體”架構，D-Matrix的晶片能夠確保高效的AI程式碼執行，簡化資料處理流程，並實現對生成式AI（AIGC）需求的無縫響應。這些經由最佳化後的AI定製晶片，可以為OpenAI的ChatGPT等AIGC應用提供最佳的算力支援，這也是D-Matrix的市場潛力所在。
不外，為了在現階段避免與英偉達的直接競爭，D-Matrix的技術瞄準了人工智慧處理的“推理”部門，而不是AI大模型的練習部門。AI推理階段，是指利用練習好的模型，透過輸入新資料來推理出各種結論的過程。藉助神經網路模型進行計算，利用輸入的新資料來一次性獲得準確結論的過程。這也過程也被稱為猜測或推斷。
一般來說，根據承擔任務的不同，AI晶片可被分為練習AI晶片和推理AI晶片。其中，練習晶片被用於構建神經網路模型，注重絕對的計算能力。在此領域，英偉達佔據了強勢的市場主導地位。據最新資料顯示，在全球AI練習晶片市場，英偉達可佔到80%到95%份額。而推理晶片，則是利用神經網路模型進行推理猜測，產品往往更注重綜合指標，如單位能耗算力、時延、本錢等各方面表現都要考慮。D-Matrix主打的就是後者。
對於此次融資，D-Matrix創始人兼執行長Sid Sheth向媒體表示，D-Matrix計劃將新資金投資於旗艦產品Corsair平臺的商業化和人才招募。該平臺是一款PCI形狀的算力卡，採用DIMC架構和芯粒（Chiplet）技術，其創新性地支援將AI模型完全儲存於記憶體中，可有效進步推理效率，並降低功耗和本錢。
全球範圍內，“百模大戰”不斷進級，高階AI算力卡成為“硬通貨”。以英偉達為例，依據當前訂單情況和出產進度，現階段的A800/H800交貨時間都已經排到了今年年底與明年年初。英偉達（Nvidia）徹底“贏麻了”，也一度掀起資本追逐人工智慧晶片的高潮。
近日，位於矽谷的人工智慧晶片初創公司D-Matrix就成功收成1.1億美元（約合8.02億元人民幣）的B輪融資。此次融資領投方是新加坡頭部投資團體淡馬錫（Temasek），微軟、三星等著名科技巨頭以及加州Playround Global等眾多風險投資公司則紛紛跟投。此前，D-Matrix亦曾受到來自Marvell、海力士、愛立信等著名科技企業的投資。
01
進擊中的D-Matrix
成立於2019年的D-Matrix，是一家為滿意資料中心高效能計算和人工智慧算力而組建的晶片初創企業，此前一直專注於定製AI晶片的研發。其使命是憑藉創新性的“數字存算一體（DIMC）”架構，來解決計算-儲存整合問題，從而進步人工智慧算力的效率。
D-Matrix由兩位經驗豐富的AI硬體專家Sid Sheth（創始人兼執行長）和Sudeep Bhoja（創始人兼首席技術官）領導。兩位創始人在半導體領域有著超過20年的從業經歷，曾在半導體巨頭博通擔任過總監職位，並在國際半導體公司Inphi（現已被Marvell收購）擔任過高管職位。
業績方面，D-Matrix已經出貨了超過1億顆晶片，收益突破了10億美元（約合72.92億元人民幣）。根據聞名資料分析公司Crunchbase的調查顯示，D-Matrix現僅擁有11-50名員工。儘管員工數目相對較少，但自從OpenAI憑藉ChatGPT成功擊敗Google之後，此類以少勝多的情況好像變得更為常見了。
透過“數字存算一體”架構，D-Matrix的晶片能夠確保高效的AI程式碼執行，簡化資料處理流程，並實現對生成式AI（AIGC）需求的無縫響應。這些經由最佳化後的AI定製晶片，可以為OpenAI的ChatGPT等AIGC應用提供最佳的算力支援，這也是D-Matrix的市場潛力所在。
不外，為了在現階段避免與英偉達的直接競爭，D-Matrix的技術瞄準了人工智慧處理的“推理”部門，而不是AI大模型的練習部門。AI推理階段，是指利用練習好的模型，透過輸入新資料來推理出各種結論的過程。藉助神經網路模型進行計算，利用輸入的新資料來一次性獲得準確結論的過程。這也過程也被稱為猜測或推斷。
一般來說，根據承擔任務的不同，AI晶片可被分為練習AI晶片和推理AI晶片。其中，練習晶片被用於構建神經網路模型，注重絕對的計算能力。在此領域，英偉達佔據了強勢的市場主導地位。據最新資料顯示，在全球AI練習晶片市場，英偉達可佔到80%到95%份額。而推理晶片，則是利用神經網路模型進行推理猜測，產品往往更注重綜合指標，如單位能耗算力、時延、本錢等各方面表現都要考慮。D-Matrix主打的就是後者。
對於此次融資，D-Matrix創始人兼執行長Sid Sheth向媒體表示，D-Matrix計劃將新資金投資於旗艦產品Corsair平臺的商業化和人才招募。該平臺是一款PCI形狀的算力卡，採用DIMC架構和芯粒（Chiplet）技術，其創新性地支援將AI模型完全儲存於記憶體中，可有效進步推理效率，並降低功耗和本錢。
