吳恩達、Bengio等大佬年度展望！懂理性的AI模型要來了？-今日必看

吳恩達、Bengio等大佬年度展望！懂理性的AI模型要來了？

來源：幽默段子釋出時間：2022-12-29 15:31

新智元報道

編纂：編輯部

【新智元導讀】2022年對AI來說註定是不平凡的一年，這不吳恩達、Bengio等一眾圈內大佬在接受DeepLearning.ai的採訪中瞻望了2023年AI的發展趨勢，還分享了自己的科研小故事。

還有不到3天，2022年就要過去了。

辭舊迎新之際，吳恩達、Bengio等一眾AI大佬們在DeepLearning.ai聚在一起，瞻望了自己眼中的2023年。

作為DeepLearning.ai的創始人，吳恩達首先發表了歡迎致辭，並回憶起自己剛開始搞研究的那段歲月，為這場多位大佬介入的討論開了個好頭。

親愛的朋友們：

當我們進入新的一年時，讓我們不要把2023年看作是一個單一的孤立年份，而是我們未來完成長期目標的年份中的第一年。有些結果需要很長時間才能實現，但假如我們設想出一條道路，而不是簡樸地從一個里程碑到另一個里程碑，就能更有效地做到這一點。

我年青的時候，幾乎沒有把短期步履與長期結果詳細聯絡起來。我總會專注於下一個目標、專案或研究論文，說是有一個恍惚的10年目標，但沒有一個明確的路徑來實現。

10年前，我一個禮拜就建立了我的第一個機器學習課程（常常在凌晨2點進行拍攝）。今年，我更新了機器學習專業的課程內容，更好地規劃了整個課程（固然有些拍攝仍舊是在凌晨2點進行的，但數目減少了！）。

在以前的業務中，我傾向於打造一個產品，然後才考慮如何將其推向客戶。如今，即使在起步階段，我也更多地考慮客戶的需求。

朋友和導師的反饋可以匡助你塑造你的願景。我成長過程中的一大步，就是學會信任某些專家和導師的建議，並努力去理解。例如，我有朋友是全球地緣政治的專家，他們有時就會建議我在特定國家加大投資力度。

我自己是得不出這個結論的，由於我對這些國家並不瞭解。但我已經學會了解釋我的長期計劃，徵求他們的反饋意見，並在他們給我指出不同的方向時當真傾聽。

現在，我的首要目標之一是使人工智慧立異的民主化。讓更多的人能夠建立定製化的人工智慧系統，並從中收益。固然實現這一目標的道路漫長而艱難，但我可以看到實現這一目標的步驟，而朋友和導師的建議也極大地塑造了我的思維。

跟著2023年的到來，你能在多遠的未來做出計劃？你想在某一主題上獲得專業知識，推動你的職業生涯，仍是解決技術題目？透過路徑假設（即使是未經測試的假設），徵求反饋意見來加以測試和完善？

為2023年心懷夢想吧。

新年快樂！

吳恩達

Yoshua Bengio：尋找具備理性的AI模型

過去，深度學習的進展主要是「鼎力出奇跡」：採用最新的架構，晉升硬體，擴大算力、資料和規模。我們是否已經擁有了我們所需要的架構，剩下的就是開發更好的硬體和資料集，以便我們能夠繼承擴大規模？現在還缺什麼嗎？

我以為是缺的，我但願在未來的一年裡能找到這些缺失的東西。

我一直在與神經科學家和認知神經科學家合作，研究最進步前輩的系統和人類之間的差距。簡樸地擴大模型規模並不能填補這種差距。相反，在目前的模型中建立一種類似於人類的能力，來發現和推理高層次的概念和它們之間的關係，可能會讓差距變得更大。

考慮一下學習一項新任務所需的例子數目，即所謂的「樣本複雜度」。練習一個深度學習模型玩一個新的影片遊戲需要大量的遊戲弄法，這些弄法對而人類而言，可以很快學會。但計算機需要考慮無數的可能性，來規劃一條從A到B的高效路線。而人類則不需要。

人類可以選擇準確的知識片斷，並將這些片斷貼合在一起，形成一套相關的解釋、謎底或計劃。此外，給定一組變數，人類非常擅長確定哪些是原因，哪些是結果。而目前的人工智慧技術在這個能力上還無法接近人類水平。

通常情況下，AI系統對天生的謎底和方案的正確性高度自信，即使實際上是錯誤的。這個題目在文字生成器或聊天機器人這樣的應用中可能是一些很有意思的笑話，但換到自動駕駛汽車或醫療診斷系統中，卻可能威脅到生命。

目前的AI系統的行事特徵，部門原因是它們就是被設計成這樣的。好比，文字生成器的練習只是為了猜測下一個單詞，而不是建立一個內部資料結構，也不必說明所操縱的概念以及它們之間的關係。

但我以為，我們可以設計出能夠追蹤事情背後的意義，並對其進行推理的AI系統，同時仍能施展當前深度學習方法的眾多上風。這樣就可以解決從過度的樣本複雜性到過度自信的不正確性等各種挑戰。

論文連結：https://arxiv.org/pdf/2111.09266.pdf

我對「天生流網路」GFlowNets很感興趣，這是我們團隊一年前開始的一種練習深度網路的新方法。這個設法的靈感來自於人類透過一連串步驟進行推理的方式，在每一步加入新的相關資訊。

這就像強化學習，由於模型是按順序學習政策來解決問題的。它也像生成式建模，由於它可以對解決方案進行抽樣，以對應於進行機率推理。

假如你想到一個影象的解釋，你的設法可以轉換成一個句子，但它不是句子本身。相反，它包含關於該句子中的概念的語義和關係資訊。一般來說，我們把這種語義內容表示為一個圖，其中每個節點是一個概念或變數。

我不以為這是獨一的解決方案，我期待著看到多種多樣的方法。透過多樣化的探索，我們將有更大的機會找到目前AI領域缺失的東西，，彌補當前人類和人類水平的AI之間的差距。

Yoshua Bengio是蒙特利爾大學計算機科學教授和Mila-魁北克人工智慧研究所的科學主任。他與Geoffrey Hinton和Yann LeCun一起獲得了2018年圖靈獎，以表彰他對深度學習的突破性貢獻。

Alon Halevy：個人資料時間軸

Alon Halevy是一位以色列裔美國計算機科學家，也是資料整合領域的專家。他從2005年到2015年擔任谷歌的研究科學家，負責谷歌資料融合表。