瞭望 | 公共雲提速“人工智慧+”

首頁 > 科技

瞭望 | 公共雲提速“人工智慧+”

來源:娛樂大起底 釋出時間:2024-04-25 21:46

  AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手

  公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本

  公共雲和AI相結合還將推動雲計算走向雲智算

  文 |《瞭望》新聞週刊記者 扈永順

  新一代人工智慧技術正步入跨越式發展新階段,成為引領現代產業變革的核心力量。“人工智慧+”今年首次被寫入政府工作報告,多地積極探索推動AI深度賦能實體經濟,開啟了AI在各行各業廣泛應用的新篇章。

  隨著AI技術和應用創新不斷加速,模型複雜度和資料量急劇增加,對包括算力在內的新型基礎設施建設提出了新需求和新要求,建立適應AI+時代的高質量算力服務體系迫在眉睫。

  日前國家資訊中心資訊化和產業發展部釋出了《“人工智慧+”時代公共雲發展模式與路徑研究》報告,提出公共雲是破解我國AI+時代算力“供不上、用不起”瓶頸問題的重要抓手。

  公共雲是指面向公眾提供的雲計算資源,透過聚合各類算力並透過線上的模式為各類使用者提供簡單易用,且近乎無限擴充套件的計算服務,其本質是將雲計算資源規模化、大範圍進行共享。“公共雲能以資源利用效率最大化的方式,幫助提升我國算力供給能力,並透過規模經濟效應推動算力門檻降低,讓更多的使用者享受普適普惠的算力服務。”國家資訊中心資訊化和產業發展部主任單志廣介紹。

  智慧算力緊缺制約大模型規模化應用

  智慧算力資源緊缺已成為制約大模型規模化應用的主要瓶頸。

  按照應用和功能特性,算力可分為基礎算力、智慧算力、超算算力三類,基礎算力主要基於CPU晶片,用於滿足基礎通用計算需求,如網購、打遊戲等;智慧算力基於GPU、FPGA(現場可程式設計門陣列)、ASIC(專用積體電路晶片)等AI晶片的加速計算平臺,主要用於人工智慧的訓練和推理計算,如語音、影象和影片的處理;超算算力由超級計算機等高效能計算叢集提供,主要用於尖端科學領域的計算。

  智慧算力方面,以AIGC(生成式人工智慧)為代表的AI應用、大模型訓練等所使用的資料量和引數規模呈指數級增長,帶來了智慧算力需求爆炸式增加。例如GPT-3模型引數約為1746億個,訓練一次需要以每秒一千萬億次計算,執行3640天。GPT-4引數數量擴大到1.8萬億個,是GPT-3的10倍,訓練算力需求上升到GPT-3的68倍,在2.5萬個A100晶片上需要訓練90~100天。

  在中文大語言模型方面,2023年3月百度釋出文心一言,4月華為釋出盤古大模型,阿里釋出通義千問大模型,商湯科技公佈日日新大模型體系,5月科大訊飛釋出星火大模型等,到目前我國大語言模型已有上百個。根據中國資訊通訊研究院測算,從裝置供給側看,2022年我國計算裝置總算力規模中,基礎算力佔比40%,智慧算力佔比則高達59%,成為算力快速增長的驅動力。根據預測,到2026年智慧算力規模將進入每秒十萬億億次浮點計算(ZFlops)級別。

  “大語言模型發展帶來了AI算力需求的快速上升,所消耗的計算資源每幾個月翻一倍,算力需求的增長速度已經遠超晶片效能提升和產能擴張速度上限。”單志廣介紹。

  公共雲具備緩解算力緊缺潛力

  公共雲是以需求為導向以應用為目的的一種公共服務模式。AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手。

  首先,公共雲具備訓練大模型所需的強算力。訓練全球領先的基礎大模型需要排程至少萬張GPU晶片高效協同工作,只有極少數公共雲具備相應能力。從亞馬遜、微軟和谷歌等科技巨頭運營公共雲的經驗來看,其優勢是規模大、效率高,天然能向全球市場擴張。

  其次,公共雲的規模效應能夠帶來算力普惠。隨著AI大模型規模化應用,支撐海量使用者頻繁使用所需要的推理算力成本也將急劇上升,尤其是多模態大模型對於算力的消耗將遠高於文字類大語言模型。算力成本是限制大模型發展的關鍵因素之一,中小型AI企業往往難以透過自建算力舉措措施解決訓練和推理算力需求,因此算力租賃需求旺盛。公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本。例如亞馬遜、阿里雲等公共雲廠商隨著使用者規模增加、技術最佳化和運營效率提升,持續降低雲計算服務價格,亞馬遜AWS曾連續三年每年降價12次;過去十年阿里雲將計算成本降低了80%,儲存成本降低了近90%。

  再者,公共雲能夠實現我國算力供給能力的邊界突破。公共雲透過叢集的計算、網路、儲存平衡設計和軟硬一體化加速技術,排程“盤活”已有晶片,可以形成超大規模算力資源池,實現晶片複用、彈性可擴充套件;發揮公共雲大規模機器排程、異構晶片相容能力,不僅能將已有提高前輩晶片集約化利用,還能充分利用已有的通用CPU資源,為AI大模型訓練和推理應用提供必要的算力支援;隨著公共雲技術體系加速進級,AI訓練、AI推理以及HPC超算等計算資源將並池管理,實現算力普惠和模型普及。

觀眾在杭州舉行的2023雲棲大會上了解雲計算產品及應用(2023年10月31日攝)    黃宗治攝/本刊

  推動雲計算走向雲智算

  公共雲和AI相結合將推動雲計算走向雲智算。未來雲計算將不再侷限於IT計算本身,而是提供包括算力、模型、資料、生態等與智慧化發展相關的全方位創新服務,從而促進AI+切實落地,引領新質生產力發展。

  推動雲計算走向雲智算,亟待解決技術層面的短板。國家資訊中心資訊化和產業發展部提出了公共雲技術服務架構解決方案。

  第一,以融合算力舉措措施為支點搭建雲計算基石。利用虛擬化技術把各種硬體資源,如計算、儲存、網路等整合起來,並輸出融合異構算力服務。無論是X86、GPU仍是ARM(微處理器晶片),都能在這個平臺上執行,不僅解決AI算力不足的問題,還能使大規模商業化成為可能。

  第二,以AI工程化工具為重點搭建平臺,為開發者提供統一的研發、測試、運維工具,包括了智算服務和機器學習框架,讓AI開發變得更加高效。開發者無需在本地維護複雜的平臺就能享受到工程化的便利,降低開發成本。

  第三,為開發者提供一站式模型服務。大模型是AI競爭的關鍵,透過模型聚合、開發和服務的整合,打破傳統AI應用的壁壘,讓AI技術更易於應用到各行各業。

  第四,以智慧化應用場景為特色,提供合用於各種智慧化場景的軟體服務。

  “此外,公共雲需要進一步提升大規模叢集管理能力,以最佳化資源利用效率,從而更好地滿足AI對算力的需求。”單志廣介紹。

  AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手

  公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本

  公共雲和AI相結合還將推動雲計算走向雲智算

  文 |《瞭望》新聞週刊記者 扈永順

  新一代人工智慧技術正步入跨越式發展新階段,成為引領現代產業變革的核心力量。“人工智慧+”今年首次被寫入政府工作報告,多地積極探索推動AI深度賦能實體經濟,開啟了AI在各行各業廣泛應用的新篇章。

  隨著AI技術和應用創新不斷加速,模型複雜度和資料量急劇增加,對包括算力在內的新型基礎設施建設提出了新需求和新要求,建立適應AI+時代的高質量算力服務體系迫在眉睫。

  日前國家資訊中心資訊化和產業發展部釋出了《“人工智慧+”時代公共雲發展模式與路徑研究》報告,提出公共雲是破解我國AI+時代算力“供不上、用不起”瓶頸問題的重要抓手。

  公共雲是指面向公眾提供的雲計算資源,透過聚合各類算力並透過線上的模式為各類使用者提供簡單易用,且近乎無限擴充套件的計算服務,其本質是將雲計算資源規模化、大範圍進行共享。“公共雲能以資源利用效率最大化的方式,幫助提升我國算力供給能力,並透過規模經濟效應推動算力門檻降低,讓更多的使用者享受普適普惠的算力服務。”國家資訊中心資訊化和產業發展部主任單志廣介紹。

  智慧算力緊缺制約大模型規模化應用

  智慧算力資源緊缺已成為制約大模型規模化應用的主要瓶頸。

  按照應用和功能特性,算力可分為基礎算力、智慧算力、超算算力三類,基礎算力主要基於CPU晶片,用於滿足基礎通用計算需求,如網購、打遊戲等;智慧算力基於GPU、FPGA(現場可程式設計門陣列)、ASIC(專用積體電路晶片)等AI晶片的加速計算平臺,主要用於人工智慧的訓練和推理計算,如語音、影象和影片的處理;超算算力由超級計算機等高效能計算叢集提供,主要用於尖端科學領域的計算。

  智慧算力方面,以AIGC(生成式人工智慧)為代表的AI應用、大模型訓練等所使用的資料量和引數規模呈指數級增長,帶來了智慧算力需求爆炸式增加。例如GPT-3模型引數約為1746億個,訓練一次需要以每秒一千萬億次計算,執行3640天。GPT-4引數數量擴大到1.8萬億個,是GPT-3的10倍,訓練算力需求上升到GPT-3的68倍,在2.5萬個A100晶片上需要訓練90~100天。

  在中文大語言模型方面,2023年3月百度釋出文心一言,4月華為釋出盤古大模型,阿里釋出通義千問大模型,商湯科技公佈日日新大模型體系,5月科大訊飛釋出星火大模型等,到目前我國大語言模型已有上百個。根據中國資訊通訊研究院測算,從裝置供給側看,2022年我國計算裝置總算力規模中,基礎算力佔比40%,智慧算力佔比則高達59%,成為算力快速增長的驅動力。根據預測,到2026年智慧算力規模將進入每秒十萬億億次浮點計算(ZFlops)級別。

  “大語言模型發展帶來了AI算力需求的快速上升,所消耗的計算資源每幾個月翻一倍,算力需求的增長速度已經遠超晶片效能提升和產能擴張速度上限。”單志廣介紹。

  公共雲具備緩解算力緊缺潛力

  公共雲是以需求為導向以應用為目的的一種公共服務模式。AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手。

  首先,公共雲具備訓練大模型所需的強算力。訓練全球領先的基礎大模型需要排程至少萬張GPU晶片高效協同工作,只有極少數公共雲具備相應能力。從亞馬遜、微軟和谷歌等科技巨頭運營公共雲的經驗來看,其優勢是規模大、效率高,天然能向全球市場擴張。

  其次,公共雲的規模效應能夠帶來算力普惠。隨著AI大模型規模化應用,支撐海量使用者頻繁使用所需要的推理算力成本也將急劇上升,尤其是多模態大模型對於算力的消耗將遠高於文字類大語言模型。算力成本是限制大模型發展的關鍵因素之一,中小型AI企業往往難以透過自建算力舉措措施解決訓練和推理算力需求,因此算力租賃需求旺盛。公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本。例如亞馬遜、阿里雲等公共雲廠商隨著使用者規模增加、技術最佳化和運營效率提升,持續降低雲計算服務價格,亞馬遜AWS曾連續三年每年降價12次;過去十年阿里雲將計算成本降低了80%,儲存成本降低了近90%。

  再者,公共雲能夠實現我國算力供給能力的邊界突破。公共雲透過叢集的計算、網路、儲存平衡設計和軟硬一體化加速技術,排程“盤活”已有晶片,可以形成超大規模算力資源池,實現晶片複用、彈性可擴充套件;發揮公共雲大規模機器排程、異構晶片相容能力,不僅能將已有提高前輩晶片集約化利用,還能充分利用已有的通用CPU資源,為AI大模型訓練和推理應用提供必要的算力支援;隨著公共雲技術體系加速進級,AI訓練、AI推理以及HPC超算等計算資源將並池管理,實現算力普惠和模型普及。

觀眾在杭州舉行的2023雲棲大會上了解雲計算產品及應用(2023年10月31日攝)    黃宗治攝/本刊

  推動雲計算走向雲智算

  公共雲和AI相結合將推動雲計算走向雲智算。未來雲計算將不再侷限於IT計算本身,而是提供包括算力、模型、資料、生態等與智慧化發展相關的全方位創新服務,從而促進AI+切實落地,引領新質生產力發展。

  推動雲計算走向雲智算,亟待解決技術層面的短板。國家資訊中心資訊化和產業發展部提出了公共雲技術服務架構解決方案。

  第一,以融合算力舉措措施為支點搭建雲計算基石。利用虛擬化技術把各種硬體資源,如計算、儲存、網路等整合起來,並輸出融合異構算力服務。無論是X86、GPU仍是ARM(微處理器晶片),都能在這個平臺上執行,不僅解決AI算力不足的問題,還能使大規模商業化成為可能。

  第二,以AI工程化工具為重點搭建平臺,為開發者提供統一的研發、測試、運維工具,包括了智算服務和機器學習框架,讓AI開發變得更加高效。開發者無需在本地維護複雜的平臺就能享受到工程化的便利,降低開發成本。

  第三,為開發者提供一站式模型服務。大模型是AI競爭的關鍵,透過模型聚合、開發和服務的整合,打破傳統AI應用的壁壘,讓AI技術更易於應用到各行各業。

  第四,以智慧化應用場景為特色,提供合用於各種智慧化場景的軟體服務。

  “此外,公共雲需要進一步提升大規模叢集管理能力,以最佳化資源利用效率,從而更好地滿足AI對算力的需求。”單志廣介紹。

  AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手

  公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本

  公共雲和AI相結合還將推動雲計算走向雲智算

  文 |《瞭望》新聞週刊記者 扈永順

  新一代人工智慧技術正步入跨越式發展新階段,成為引領現代產業變革的核心力量。“人工智慧+”今年首次被寫入政府工作報告,多地積極探索推動AI深度賦能實體經濟,開啟了AI在各行各業廣泛應用的新篇章。

  隨著AI技術和應用創新不斷加速,模型複雜度和資料量急劇增加,對包括算力在內的新型基礎設施建設提出了新需求和新要求,建立適應AI+時代的高質量算力服務體系迫在眉睫。

  日前國家資訊中心資訊化和產業發展部釋出了《“人工智慧+”時代公共雲發展模式與路徑研究》報告,提出公共雲是破解我國AI+時代算力“供不上、用不起”瓶頸問題的重要抓手。

  公共雲是指面向公眾提供的雲計算資源,透過聚合各類算力並透過線上的模式為各類使用者提供簡單易用,且近乎無限擴充套件的計算服務,其本質是將雲計算資源規模化、大範圍進行共享。“公共雲能以資源利用效率最大化的方式,幫助提升我國算力供給能力,並透過規模經濟效應推動算力門檻降低,讓更多的使用者享受普適普惠的算力服務。”國家資訊中心資訊化和產業發展部主任單志廣介紹。

  智慧算力緊缺制約大模型規模化應用

  智慧算力資源緊缺已成為制約大模型規模化應用的主要瓶頸。

  按照應用和功能特性,算力可分為基礎算力、智慧算力、超算算力三類,基礎算力主要基於CPU晶片,用於滿足基礎通用計算需求,如網購、打遊戲等;智慧算力基於GPU、FPGA(現場可程式設計門陣列)、ASIC(專用積體電路晶片)等AI晶片的加速計算平臺,主要用於人工智慧的訓練和推理計算,如語音、影象和影片的處理;超算算力由超級計算機等高效能計算叢集提供,主要用於尖端科學領域的計算。

  智慧算力方面,以AIGC(生成式人工智慧)為代表的AI應用、大模型訓練等所使用的資料量和引數規模呈指數級增長,帶來了智慧算力需求爆炸式增加。例如GPT-3模型引數約為1746億個,訓練一次需要以每秒一千萬億次計算,執行3640天。GPT-4引數數量擴大到1.8萬億個,是GPT-3的10倍,訓練算力需求上升到GPT-3的68倍,在2.5萬個A100晶片上需要訓練90~100天。

  在中文大語言模型方面,2023年3月百度釋出文心一言,4月華為釋出盤古大模型,阿里釋出通義千問大模型,商湯科技公佈日日新大模型體系,5月科大訊飛釋出星火大模型等,到目前我國大語言模型已有上百個。根據中國資訊通訊研究院測算,從裝置供給側看,2022年我國計算裝置總算力規模中,基礎算力佔比40%,智慧算力佔比則高達59%,成為算力快速增長的驅動力。根據預測,到2026年智慧算力規模將進入每秒十萬億億次浮點計算(ZFlops)級別。

  “大語言模型發展帶來了AI算力需求的快速上升,所消耗的計算資源每幾個月翻一倍,算力需求的增長速度已經遠超晶片效能提升和產能擴張速度上限。”單志廣介紹。

  公共雲具備緩解算力緊缺潛力

  公共雲是以需求為導向以應用為目的的一種公共服務模式。AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手。

  首先,公共雲具備訓練大模型所需的強算力。訓練全球領先的基礎大模型需要排程至少萬張GPU晶片高效協同工作,只有極少數公共雲具備相應能力。從亞馬遜、微軟和谷歌等科技巨頭運營公共雲的經驗來看,其優勢是規模大、效率高,天然能向全球市場擴張。

  其次,公共雲的規模效應能夠帶來算力普惠。隨著AI大模型規模化應用,支撐海量使用者頻繁使用所需要的推理算力成本也將急劇上升,尤其是多模態大模型對於算力的消耗將遠高於文字類大語言模型。算力成本是限制大模型發展的關鍵因素之一,中小型AI企業往往難以透過自建算力舉措措施解決訓練和推理算力需求,因此算力租賃需求旺盛。公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本。例如亞馬遜、阿里雲等公共雲廠商隨著使用者規模增加、技術最佳化和運營效率提升,持續降低雲計算服務價格,亞馬遜AWS曾連續三年每年降價12次;過去十年阿里雲將計算成本降低了80%,儲存成本降低了近90%。

  再者,公共雲能夠實現我國算力供給能力的邊界突破。公共雲透過叢集的計算、網路、儲存平衡設計和軟硬一體化加速技術,排程“盤活”已有晶片,可以形成超大規模算力資源池,實現晶片複用、彈性可擴充套件;發揮公共雲大規模機器排程、異構晶片相容能力,不僅能將已有提高前輩晶片集約化利用,還能充分利用已有的通用CPU資源,為AI大模型訓練和推理應用提供必要的算力支援;隨著公共雲技術體系加速進級,AI訓練、AI推理以及HPC超算等計算資源將並池管理,實現算力普惠和模型普及。

觀眾在杭州舉行的2023雲棲大會上了解雲計算產品及應用(2023年10月31日攝)    黃宗治攝/本刊

  推動雲計算走向雲智算

  公共雲和AI相結合將推動雲計算走向雲智算。未來雲計算將不再侷限於IT計算本身,而是提供包括算力、模型、資料、生態等與智慧化發展相關的全方位創新服務,從而促進AI+切實落地,引領新質生產力發展。

  推動雲計算走向雲智算,亟待解決技術層面的短板。國家資訊中心資訊化和產業發展部提出了公共雲技術服務架構解決方案。

  第一,以融合算力舉措措施為支點搭建雲計算基石。利用虛擬化技術把各種硬體資源,如計算、儲存、網路等整合起來,並輸出融合異構算力服務。無論是X86、GPU仍是ARM(微處理器晶片),都能在這個平臺上執行,不僅解決AI算力不足的問題,還能使大規模商業化成為可能。

  第二,以AI工程化工具為重點搭建平臺,為開發者提供統一的研發、測試、運維工具,包括了智算服務和機器學習框架,讓AI開發變得更加高效。開發者無需在本地維護複雜的平臺就能享受到工程化的便利,降低開發成本。

  第三,為開發者提供一站式模型服務。大模型是AI競爭的關鍵,透過模型聚合、開發和服務的整合,打破傳統AI應用的壁壘,讓AI技術更易於應用到各行各業。

  第四,以智慧化應用場景為特色,提供合用於各種智慧化場景的軟體服務。

  “此外,公共雲需要進一步提升大規模叢集管理能力,以最佳化資源利用效率,從而更好地滿足AI對算力的需求。”單志廣介紹。

  AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手

  公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本

  公共雲和AI相結合還將推動雲計算走向雲智算

  文 |《瞭望》新聞週刊記者 扈永順

  新一代人工智慧技術正步入跨越式發展新階段,成為引領現代產業變革的核心力量。“人工智慧+”今年首次被寫入政府工作報告,多地積極探索推動AI深度賦能實體經濟,開啟了AI在各行各業廣泛應用的新篇章。

  隨著AI技術和應用創新不斷加速,模型複雜度和資料量急劇增加,對包括算力在內的新型基礎設施建設提出了新需求和新要求,建立適應AI+時代的高質量算力服務體系迫在眉睫。

  日前國家資訊中心資訊化和產業發展部釋出了《“人工智慧+”時代公共雲發展模式與路徑研究》報告,提出公共雲是破解我國AI+時代算力“供不上、用不起”瓶頸問題的重要抓手。

  公共雲是指面向公眾提供的雲計算資源,透過聚合各類算力並透過線上的模式為各類使用者提供簡單易用,且近乎無限擴充套件的計算服務,其本質是將雲計算資源規模化、大範圍進行共享。“公共雲能以資源利用效率最大化的方式,幫助提升我國算力供給能力,並透過規模經濟效應推動算力門檻降低,讓更多的使用者享受普適普惠的算力服務。”國家資訊中心資訊化和產業發展部主任單志廣介紹。

  智慧算力緊缺制約大模型規模化應用

  智慧算力資源緊缺已成為制約大模型規模化應用的主要瓶頸。

  按照應用和功能特性,算力可分為基礎算力、智慧算力、超算算力三類,基礎算力主要基於CPU晶片,用於滿足基礎通用計算需求,如網購、打遊戲等;智慧算力基於GPU、FPGA(現場可程式設計門陣列)、ASIC(專用積體電路晶片)等AI晶片的加速計算平臺,主要用於人工智慧的訓練和推理計算,如語音、影象和影片的處理;超算算力由超級計算機等高效能計算叢集提供,主要用於尖端科學領域的計算。

  智慧算力方面,以AIGC(生成式人工智慧)為代表的AI應用、大模型訓練等所使用的資料量和引數規模呈指數級增長,帶來了智慧算力需求爆炸式增加。例如GPT-3模型引數約為1746億個,訓練一次需要以每秒一千萬億次計算,執行3640天。GPT-4引數數量擴大到1.8萬億個,是GPT-3的10倍,訓練算力需求上升到GPT-3的68倍,在2.5萬個A100晶片上需要訓練90~100天。

  在中文大語言模型方面,2023年3月百度釋出文心一言,4月華為釋出盤古大模型,阿里釋出通義千問大模型,商湯科技公佈日日新大模型體系,5月科大訊飛釋出星火大模型等,到目前我國大語言模型已有上百個。根據中國資訊通訊研究院測算,從裝置供給側看,2022年我國計算裝置總算力規模中,基礎算力佔比40%,智慧算力佔比則高達59%,成為算力快速增長的驅動力。根據預測,到2026年智慧算力規模將進入每秒十萬億億次浮點計算(ZFlops)級別。

  “大語言模型發展帶來了AI算力需求的快速上升,所消耗的計算資源每幾個月翻一倍,算力需求的增長速度已經遠超晶片效能提升和產能擴張速度上限。”單志廣介紹。

  公共雲具備緩解算力緊缺潛力

  公共雲是以需求為導向以應用為目的的一種公共服務模式。AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手。

  首先,公共雲具備訓練大模型所需的強算力。訓練全球領先的基礎大模型需要排程至少萬張GPU晶片高效協同工作,只有極少數公共雲具備相應能力。從亞馬遜、微軟和谷歌等科技巨頭運營公共雲的經驗來看,其優勢是規模大、效率高,天然能向全球市場擴張。

  其次,公共雲的規模效應能夠帶來算力普惠。隨著AI大模型規模化應用,支撐海量使用者頻繁使用所需要的推理算力成本也將急劇上升,尤其是多模態大模型對於算力的消耗將遠高於文字類大語言模型。算力成本是限制大模型發展的關鍵因素之一,中小型AI企業往往難以透過自建算力舉措措施解決訓練和推理算力需求,因此算力租賃需求旺盛。公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本。例如亞馬遜、阿里雲等公共雲廠商隨著使用者規模增加、技術最佳化和運營效率提升,持續降低雲計算服務價格,亞馬遜AWS曾連續三年每年降價12次;過去十年阿里雲將計算成本降低了80%,儲存成本降低了近90%。

  再者,公共雲能夠實現我國算力供給能力的邊界突破。公共雲透過叢集的計算、網路、儲存平衡設計和軟硬一體化加速技術,排程“盤活”已有晶片,可以形成超大規模算力資源池,實現晶片複用、彈性可擴充套件;發揮公共雲大規模機器排程、異構晶片相容能力,不僅能將已有提高前輩晶片集約化利用,還能充分利用已有的通用CPU資源,為AI大模型訓練和推理應用提供必要的算力支援;隨著公共雲技術體系加速進級,AI訓練、AI推理以及HPC超算等計算資源將並池管理,實現算力普惠和模型普及。

觀眾在杭州舉行的2023雲棲大會上了解雲計算產品及應用(2023年10月31日攝)    黃宗治攝/本刊

  推動雲計算走向雲智算

  公共雲和AI相結合將推動雲計算走向雲智算。未來雲計算將不再侷限於IT計算本身,而是提供包括算力、模型、資料、生態等與智慧化發展相關的全方位創新服務,從而促進AI+切實落地,引領新質生產力發展。

  推動雲計算走向雲智算,亟待解決技術層面的短板。國家資訊中心資訊化和產業發展部提出了公共雲技術服務架構解決方案。

  第一,以融合算力舉措措施為支點搭建雲計算基石。利用虛擬化技術把各種硬體資源,如計算、儲存、網路等整合起來,並輸出融合異構算力服務。無論是X86、GPU仍是ARM(微處理器晶片),都能在這個平臺上執行,不僅解決AI算力不足的問題,還能使大規模商業化成為可能。

  第二,以AI工程化工具為重點搭建平臺,為開發者提供統一的研發、測試、運維工具,包括了智算服務和機器學習框架,讓AI開發變得更加高效。開發者無需在本地維護複雜的平臺就能享受到工程化的便利,降低開發成本。

  第三,為開發者提供一站式模型服務。大模型是AI競爭的關鍵,透過模型聚合、開發和服務的整合,打破傳統AI應用的壁壘,讓AI技術更易於應用到各行各業。

  第四,以智慧化應用場景為特色,提供合用於各種智慧化場景的軟體服務。

  “此外,公共雲需要進一步提升大規模叢集管理能力,以最佳化資源利用效率,從而更好地滿足AI對算力的需求。”單志廣介紹。

  AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手

  公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本

  公共雲和AI相結合還將推動雲計算走向雲智算

  文 |《瞭望》新聞週刊記者 扈永順

  新一代人工智慧技術正步入跨越式發展新階段,成為引領現代產業變革的核心力量。“人工智慧+”今年首次被寫入政府工作報告,多地積極探索推動AI深度賦能實體經濟,開啟了AI在各行各業廣泛應用的新篇章。

  隨著AI技術和應用創新不斷加速,模型複雜度和資料量急劇增加,對包括算力在內的新型基礎設施建設提出了新需求和新要求,建立適應AI+時代的高質量算力服務體系迫在眉睫。

  日前國家資訊中心資訊化和產業發展部釋出了《“人工智慧+”時代公共雲發展模式與路徑研究》報告,提出公共雲是破解我國AI+時代算力“供不上、用不起”瓶頸問題的重要抓手。

  公共雲是指面向公眾提供的雲計算資源,透過聚合各類算力並透過線上的模式為各類使用者提供簡單易用,且近乎無限擴充套件的計算服務,其本質是將雲計算資源規模化、大範圍進行共享。“公共雲能以資源利用效率最大化的方式,幫助提升我國算力供給能力,並透過規模經濟效應推動算力門檻降低,讓更多的使用者享受普適普惠的算力服務。”國家資訊中心資訊化和產業發展部主任單志廣介紹。

  智慧算力緊缺制約大模型規模化應用

  智慧算力資源緊缺已成為制約大模型規模化應用的主要瓶頸。

  按照應用和功能特性,算力可分為基礎算力、智慧算力、超算算力三類,基礎算力主要基於CPU晶片,用於滿足基礎通用計算需求,如網購、打遊戲等;智慧算力基於GPU、FPGA(現場可程式設計門陣列)、ASIC(專用積體電路晶片)等AI晶片的加速計算平臺,主要用於人工智慧的訓練和推理計算,如語音、影象和影片的處理;超算算力由超級計算機等高效能計算叢集提供,主要用於尖端科學領域的計算。

  智慧算力方面,以AIGC(生成式人工智慧)為代表的AI應用、大模型訓練等所使用的資料量和引數規模呈指數級增長,帶來了智慧算力需求爆炸式增加。例如GPT-3模型引數約為1746億個,訓練一次需要以每秒一千萬億次計算,執行3640天。GPT-4引數數量擴大到1.8萬億個,是GPT-3的10倍,訓練算力需求上升到GPT-3的68倍,在2.5萬個A100晶片上需要訓練90~100天。

  在中文大語言模型方面,2023年3月百度釋出文心一言,4月華為釋出盤古大模型,阿里釋出通義千問大模型,商湯科技公佈日日新大模型體系,5月科大訊飛釋出星火大模型等,到目前我國大語言模型已有上百個。根據中國資訊通訊研究院測算,從裝置供給側看,2022年我國計算裝置總算力規模中,基礎算力佔比40%,智慧算力佔比則高達59%,成為算力快速增長的驅動力。根據預測,到2026年智慧算力規模將進入每秒十萬億億次浮點計算(ZFlops)級別。

  “大語言模型發展帶來了AI算力需求的快速上升,所消耗的計算資源每幾個月翻一倍,算力需求的增長速度已經遠超晶片效能提升和產能擴張速度上限。”單志廣介紹。

  公共雲具備緩解算力緊缺潛力

  公共雲是以需求為導向以應用為目的的一種公共服務模式。AI+時代,公共雲將成為破解算力資源緊張、降低算力成本的關鍵抓手。

  首先,公共雲具備訓練大模型所需的強算力。訓練全球領先的基礎大模型需要排程至少萬張GPU晶片高效協同工作,只有極少數公共雲具備相應能力。從亞馬遜、微軟和谷歌等科技巨頭運營公共雲的經驗來看,其優勢是規模大、效率高,天然能向全球市場擴張。

  其次,公共雲的規模效應能夠帶來算力普惠。隨著AI大模型規模化應用,支撐海量使用者頻繁使用所需要的推理算力成本也將急劇上升,尤其是多模態大模型對於算力的消耗將遠高於文字類大語言模型。算力成本是限制大模型發展的關鍵因素之一,中小型AI企業往往難以透過自建算力舉措措施解決訓練和推理算力需求,因此算力租賃需求旺盛。公共雲可以多路複用,透過多租戶使用同一套計算資源大池,削峰填谷,顯著提升硬體資源利用率,降低使用成本。例如亞馬遜、阿里雲等公共雲廠商隨著使用者規模增加、技術最佳化和運營效率提升,持續降低雲計算服務價格,亞馬遜AWS曾連續三年每年降價12次;過去十年阿里雲將計算成本降低了80%,儲存成本降低了近90%。

  再者,公共雲能夠實現我國算力供給能力的邊界突破。公共雲透過叢集的計算、網路、儲存平衡設計和軟硬一體化加速技術,排程“盤活”已有晶片,可以形成超大規模算力資源池,實現晶片複用、彈性可擴充套件;發揮公共雲大規模機器排程、異構晶片相容能力,不僅能將已有提高前輩晶片集約化利用,還能充分利用已有的通用CPU資源,為AI大模型訓練和推理應用提供必要的算力支援;隨著公共雲技術體系加速進級,AI訓練、AI推理以及HPC超算等計算資源將並池管理,實現算力普惠和模型普及。

觀眾在杭州舉行的2023雲棲大會上了解雲計算產品及應用(2023年10月31日攝)    黃宗治攝/本刊

  推動雲計算走向雲智算

  公共雲和AI相結合將推動雲計算走向雲智算。未來雲計算將不再侷限於IT計算本身,而是提供包括算力、模型、資料、生態等與智慧化發展相關的全方位創新服務,從而促進AI+切實落地,引領新質生產力發展。

  推動雲計算走向雲智算,亟待解決技術層面的短板。國家資訊中心資訊化和產業發展部提出了公共雲技術服務架構解決方案。

  第一,以融合算力舉措措施為支點搭建雲計算基石。利用虛擬化技術把各種硬體資源,如計算、儲存、網路等整合起來,並輸出融合異構算力服務。無論是X86、GPU仍是ARM(微處理器晶片),都能在這個平臺上執行,不僅解決AI算力不足的問題,還能使大規模商業化成為可能。

  第二,以AI工程化工具為重點搭建平臺,為開發者提供統一的研發、測試、運維工具,包括了智算服務和機器學習框架,讓AI開發變得更加高效。開發者無需在本地維護複雜的平臺就能享受到工程化的便利,降低開發成本。

  第三,為開發者提供一站式模型服務。大模型是AI競爭的關鍵,透過模型聚合、開發和服務的整合,打破傳統AI應用的壁壘,讓AI技術更易於應用到各行各業。

  第四,以智慧化應用場景為特色,提供合用於各種智慧化場景的軟體服務。

  “此外,公共雲需要進一步提升大規模叢集管理能力,以最佳化資源利用效率,從而更好地滿足AI對算力的需求。”單志廣介紹。

上一篇:聯想張華:AI...
猜你喜歡
熱門閱讀
同類推薦