GPT-4要來了！一文看盡大型語言模型的過去、現在、未來-今日必看

GPT-4要來了！一文看盡大型語言模型的過去、現在、未來

來源：探索未來釋出時間：2023-03-13 14:40

作者｜ZeR0 編纂｜漠影

智東西3月13日報道，昨日，由中國人民大學高瓴人工智慧學院主辦的AIGC論壇在北京舉行，本次會議以“AIGC：從不存在到存在”為議題，探討對話天生模型、多媒體內容天生等人工智慧（AI）前沿技術的發展趨勢。

在對話與語言天生模型專場，哈爾濱工業大學計算機學院教授車萬翔、中國科學院自動化研究所研究員張家俊、中國人民大學高瓴人工智慧學院長聘副教授嚴睿、新浪微博資深演算法專家張俊林分別作呈文。

這場學術嘉會幹貨滿滿，不僅系統性地回顧了自然語言處理（NLP）的五個發展階段，對大型語言模型研究的三個主要技術路徑進行解讀，並拆解了ChatGPT的四項關鍵技術，還就大型語言模型研究重心的變遷與未來趨勢進行探討。

一、NLP五級進階路：從基於規則到遵循人的價值觀

新浪微博資深演算法專家張俊林以為，要想探尋大型語言模型未來怎麼走，需要先回顧此前是怎麼一路變遷的。他將自然語言處理發展到大型語言模型的歷程分為五個階段：規則、統計機器學習、深度學習、預練習、大型語言模型。

機器翻譯是NLP中難度最高、綜合性最強的任務。因此張俊林以機器翻譯任務為例來對比不同階段的特點以及技術棧、資料的變化，以此展示NLP如何一步步演進。

規則階段大致從1956年到1992年，基於規則的機器翻譯系統是在內部把各種功能的模組串到一起，由人先從資料中獲取知識，歸納出規則，寫出來教給機器，然後機器來執行這套規則，從而完成特定任務。

統計機器學習階段大致從1993年到2012年，機器翻譯系統可拆成語言模型和翻譯模型，這裡的語言模型與現在的GPT-3/3.5的技術手段一模一樣。該階段比擬上一階段突變性較高，由人轉述知識變成機器自動從資料中學習知識，主流技術包括SVM、HMM、MaxEnt、CRF、LM等，當時人工標註資料量在百萬級左右。

深度學習階段大致從2013-2018年，相對上一階段突變性較低，從離散匹配發展到embedding連續匹配，模型變得更大。該階段典型技術棧包括Encoder-Decoder、LSTM、Attention、Embedding等，標註資料量晉升到千萬級。

預練習階段是從2018年到2022年，比擬之前的最大變化是加入自監視學習，張俊林以為這是NLP領域最傑出的貢獻，將可利用資料從標註資料拓展到了非標註資料。該階段系統可分為預練習和微調兩個階段，將預練習資料量擴大3到5倍，典型技術棧包括Encoder-Decoder、Transformer、Attention等。