清華講席教授周伯文內部分享：大語言模型為何會表現出接近AGI的能力

來源：穿搭日記釋出時間：2023-12-28 13:07

清華講席教授周伯文內部分享：大語言模型為何會表現出接近AGI的能力

“嘗試找到如何讓機器使用語言，形成抽象的概念，解決現在人類還不能解決的題目並晉升自己等。對於當下的人工智慧來說，首要題目是讓機器像人類一樣表現出智慧。”這是1956年，達特茅斯會議上對人工智慧的定義。從那時算起，人工智慧的歷史已經接近70年。

在今天，跟著大語言模型的突破，讓人類覺得好像我們離AGI更近了一步。維特根斯坦有一句名言是：“語言的邊界就是思惟的邊界”。AI現在已經體現出把握人類語言的能力，未來AI是不是真的能夠去觸控人類思惟的邊界，並復現人類智慧？

未來畢竟是AI for Tools(人類仍舊是未來世界的主導）仍是Tools for AI (AI會在未來佔據主導地位)？

這是一個令人深思的哲學題目，現在還沒有切當謎底。但是AI的迅速發展已經在重塑技術發展路徑和人類社會，除了大語言模型，我們也應該去思索更深層次的題目：當下AI智慧的突破從哪裡來？未來的AI向哪裡發展？人工智慧的發展對未來科學立異、人機協同有哪些影響？

清華大學講席教授、電子工程系長聘教授、IEEE &CAAI Fellow、銜遠科技創始人周伯文教授，近日在【2023年騰訊技術周】AIGC大咖面對面流動中，圍繞以上題目，做了深度的內部分享。騰訊科技聯合騰訊學堂，將周教授的分享收拾整頓成精髓文章，收錄在《AI未來指北》系列內容中，但願能讓更多持續關注AI發展的讀者，獲得一些靈感與收成。文章較長，值得保藏閱讀。

劃重點：

1 是不是全世界只需要一個巨大的語言模型就能夠解決所有題目？從貿易落地的角度看，可以總結為在"高價值(high-value)"和"高通量(high-volume)"之間尋求平衡。
2 ChatGPT的誕生讓AI從“與人競爭”變成“與人協同互動”。
3 從GPT到Agent，核心題目在於AI作為人類創造的工具，是否能夠自己學會創造和使用工具？這將是智慧的下一個階段。

以下為分享精髓內容：

一個大模型能解決所有題目？

第一個方向是大模型需要承擔更多複雜場景的任務。

一些段子在網路上流傳，戲謔大模型好像只擅長詩歌和繪畫，而人們依然在辛勞的從事各種工作。這實在源於大模型尚未具備處理眾多複雜任務的能力。儘管它在推理、對話和總結方面取得了明顯進展，但如何讓它在複雜的現實世界中解決更多實際題目，這是大模型發展的一個重要方向。

第二個方向是大模型的專業化能力。

固然這兩個題目有相關性，但並不完全相同。複雜題目不一定需要高度專業化的能力，複雜題目可能是由一系列簡樸題目的組合構成。因此，如何將複雜題目分解成更簡樸的題目是一個方向，而專業化則是另一個方向。一開始許多人都忽視了專業化的重要性。例如，2023年初，在ChatGPT橫空出世後，許多人預期一個大模型可以解決所有題目，因此並未考慮專業化的題目。拉長時間維度到無窮來看，這仍舊是一個開放性題目，即假如GPT4無法勝任，是否可以依靠GPT5、GPT6......？但從可見未來的一段時間來看，謎底應該是明確否定的。

我想引用谷歌前董事長埃裡克·施密特和斯坦福大學教授合作在今年4月份釋出的一篇論文，題為"是不是全世界只需要一個巨大的語言模型能夠解決所有題目"。

這篇論文得出的結論也是否定的。儘管這篇文章很長，但從我的角度看，可以總結為在"高價值（high value)"和"高通量(high volume)"之間尋求平衡。他們在論文中呈現了一張圖表，橫軸表示工作流，縱軸表示價值，以展示不同大模型在不同場景下的表現。如下所示，這張圖表符合很多AI技術落地與價值創造的規律。

在高頻使用情境中，通用AI模型可以創造一定的價值，然而，這種價值潛力有限。ChatGPT的月活跌幅也在某種程度上印證了這一觀點。通用AI模型看似合用於各種任務，但各任務的實際價值有限，同時也會對模型提出需求，即推理本錢必需低於帶來的價值，這使得推理方面的要求更為迫切。

相應地，Workflow（工作流）中的頭部呈現出極高的價值潛力，因此，模型需要具備高度專業化。在有限的應用情境中，這將帶來高價值。

我們但願回答以下三個核心題目：1. 當前AI智慧的突破點在哪裡？2.未來AI的發展方向是什麼？3. 人工智慧的發展對未來科學立異和人機協同將產生何種影響？

首先我以為目前ChatGPT帶來的核心變化在兩個維度。

第一個維度，ChatGPT的誕生讓“與人競爭的AI”變成“與人協同互動的AI”。

在ChatGPT之前，從AIphaGo到深藍再到Watson。每一次AI成為頭條事件，它的背後都是AI與地表最強人類競爭獲勝來獲取大眾注意力。但這次ChatGPT為什麼引起的高潮更大？

最大的原因是ChatGPT不再是跟人競爭，而是它能夠與千千萬萬個你我一樣的普通人一起更好地從協同、互動的角度解決現實題目。這樣的AI毫無疑問比與人競爭的AI帶來的市場價值和規模更大。

這是我長期以來的觀點，即AI的最大價值在於與人協同和互動，在互動中學習。這種學習不僅包括技能的學習，還包括價值觀的對齊，從而協同解決問題。在考慮AI應該處理什麼題目、解決什麼困難時，目前ChatGPT在這方面更符合期望。

第二個維度，我想分享我於2016年在紐約的一些思索。當時，我們和一些來自全球的人工智慧研究者在一個會議上一起探討未來人工智慧的發展趨勢。

我當時提到一個概念，關於人工智慧的發展，我以為在2016年之後將劃分為三個階段,如下圖所示。

當時，我們都假設人工智慧最終目標是實現AGI，即比人類更具聰明且可以持續學習，所以管理和監管要做好預備，但2016年時並沒有大家能看到的實現路徑。與此對應，我將2016年時的人工智慧稱之為狹義人工智慧（ANI，Artificial Narrow Intelligence），即第一階段。它的定義是此時人工智慧大部分的練習和學習來自於人工標註和監視的資料；任務範圍窄；假如執行新任務，需要重新練習；我們完全知道“那個AI”能做什麼、不能做什麼。後者固然不一定讓人滿足，但讓我們晚上可以安心睡覺。

我當時提出在通向AGI的方向上會有一個必經之路的第二個階段，叫做ABI（Artificial Broad Intelligence，廣義人工智慧）。它的定義：

第一，一定是大量的自監視學習，不需要額外的標註。

第二，一定要端到端，AI能自己執行並完成複雜的任務，具備自發的子任務分解與多工學習能力。以語音翻譯舉例，在2016年絕大部分語音翻譯是先識別，後翻譯，再合成。任務的分割是人工給予並分階段標註的。所謂的ABI應該是端到真個，何時識別何時翻譯，不用人再發出指示，而是AI自己決定，子任務之間可能沒有明確的界限。

第三，當時提出了要從分類任務、決議計劃任務變成生成式的助手。

聞名物理學家Feynman

如上這張圖是美國聞名的物理學家Feynman，他說過“凡是我不能創造的，我都沒有真正理解”。Feynman代表的毫無疑問是人類的最高水平，AI也一樣，假如AI不能創造，AI就沒有真正理解。

所謂的自然語言理解，所謂的benchmark都不是真正理解，只有逼著它做天生，才能倒過來做理解。

曾經我們以為ABI將是過渡到AGI的必由之路，但現在ChatGPT在2022年、2023年都實現了。

基於當時ABI的判定，我當時已專注於多頭 self-attention 的工作，由於按照端到真個思索，如何讓模型學好與下游任務無關的任務，這其中自然語言的上下文表徵很重要，我們基於此工作發表相關論文於2017初的ICLR上。

2017年穀歌發表的論文Attention is All you need，這也成為Transformer核心思想之一，Transformer也採用多頭自注意力，Open AI首先意識到Transformer的價值，堅持用猜測下一個詞的方式來高效率、大規模來評估和練習智慧體，使得GPT應運而生。

Open AI為什麼會這種熟悉？它在呈文中提到，基於多頭自注意力架構來猜測下一個詞練習出來的大語言模型，是目前最好的世界知識壓縮器。（“ To predict the next word with multi-head self-attention architecture is currently the SOTA world knowledge compressor” ）

換一句話講，你猜測下一個詞，可以把世界知識都壓縮排一個大模型裡。你去問模型丹麥的首都是哥本哈根仍是倫敦，逼著它去學會地理知識。這種對下一個詞的預練習會逼著模型學到許多知識，而且這種知識進化到一定程度會展現出非常驚豔的效果。