來源：蒙面的大俠 釋出時間：2023-06-13 11:50

David Krueger

以下為David Krueger的談話精要。

《AI風險宣告》聯名信僅一句話，是精心設計的

騰訊新聞《潛望》：你是《AI風險宣告》（Statement on AI Risk）簽署者之一，能不能告訴我們，這封宣告是怎樣誕生的？

David Krueger：我一年多前就有了這樣的設法，原因是人們對AI的風險，特別是AI可能會導致人類滅絕的風險越來越關注。與此同時，許多人並沒有公然討論這個題目。

一個重要原因是歷史緣故，這個觀點曾被視為邊沿設法，人們擔心公然討論會給他們帶來負面影響，甚至影響職業遠景。

幾個月前，好時機來了。自從ChatGPT和GPT-4釋出，人們對AI的關注達到空前。很長一段時間，人們承認這可能是假設性的未來題目，但現在為時過早。

至於這個宣告是如何產生的，我聯絡了一些同事，包括人工智慧安全中央的負責人Dan Hendrycks。我告訴他我們應該做這樣一份宣告，而且我打算儘快做。但我不確定自己是否有足夠的能力完成。它十分緊急。於是，Dan接過這個話題，推動了聲明發表。

騰訊新聞《潛望》：你對這封信的措辭提供了什麼意見？

David Krueger：我提議只使用一句話來表達。原因有幾個。

首先，當你有較長陳述，很可能會有人對其中某些內容持不同意見。

我們在幾個月前看到，生命未來研究所（Future of Life Institute）發表呼籲：所有人工智慧實驗室當即暫停練習比GPT-4更強盛的人工智慧系統至少6個月。許多人對此的反應是，聽起來不錯，但我以為我們無法暫停人工智慧的發展。

當然他們發表這個宣告仍舊很有效，由於一旦人們說我們無法暫停，就是我們需要採取行動的跡象。我們確實需要有能力暫停一項過於危險而不應該開發的技術。

我使用這個例子是為了說明，當你說得越多，人們就越有不同意見。在這種情況下，我們沒有提如何處理這個風險，由於人們對準確方法有不同看法；我們也沒有說為什麼它可能導致人類滅絕，由於不同的人對此有不同看法——有些人更擔心技術被濫用，另一些人更擔心技術失控，而這不是某個惡意行為者故意造成的結果。

無論哪種方式，只要有許多人認同這是巨大風險，我們需要採取行動，那就可以了。

AI風險與蒸汽機有本質差異

騰訊新聞《潛望》：人們對於人工智慧威脅的擔憂，與兩三百年前人們對蒸汽機的驚駭，最大差別是什麼？

David Krueger：對於那段歷史，我瞭解不多。我不確定當時是否有人說過會導致人類滅絕。假如有人這樣說過，我也不確定他們會使用什麼樣的論點，對我來說，好像不太可能。

樞紐區別在於我們討論的是滅絕。我們討論的是一種可能比人類在各種相關能力上更智慧、更強盛的技術。

蒸汽機使我們能創造比人類更強盛、更快速的物理氣力。但蒸汽機並不具備智慧，相對輕易控制。即使其中一個失控，最糟糕的情況也只是它出故障，上面的人可能會死亡或受傷。但是，假如一個智慧系統或者一個能夠自我複製的系統失控了，許多人可能會死亡，由於它可以成長並獲得更多氣力，這是樞紐區別。

騰訊新聞《潛望》：有些人以為公然宣告只能阻止好人，試圖讓好人加強對安全題目的關注、減緩研發速度，但卻無法阻止壞人的步履。我們如何預防壞人呢？

David Krueger：透過監管和國際合作來規範行為。

我不太喜歡用“好人”和“壞人”來談論這個題目，由於每個人老是以為自己是好人。我擔心的主要風險不是一些壞人或惡意行為者對人工智慧系統進行惡意操縱，而是類似氣候變化的題目——個人可能會從燃燒更多化石燃料或製造更難控制的更強盛系統中獲得更多利益，但每個人都要承擔一些代價。在氣候變化的情況下，這會對環境造成損害。在人工智慧的情況下，風險是系統失控並導致滅頂之災。

這更多是一個激勵題目。事實上，人類更關心自己、朋友、親人和社群，而不是世界另一邊的某個陌生人。因此，並不需要惡意意圖，只需要自私本能。這就是為什麼需要監管，這是解決這類人類共同利益題目的方式。

AI對齊工作有大量未解之謎

騰訊新聞《潛望》：你的研究愛好是深度學習、AI對齊和安全，能不能用普通人能聽懂的語言解釋什麼是對齊（Alignment）？你說過“對齊將是AI發展的樞紐驅動力之一”，為什麼它如斯重要？

David Krueger：我喜歡說人們對此有三種不同理解。一種是使AI系統按照我們的意願步履。但我不以為這是一個好定義，它太寬泛了，每個工程師都在嘗試讓AI系統按照他們的意願步履。

還有一個更詳細的定義，即“意圖對齊”。在我看來這是準確定義，是指讓系統試圖按照我們的意願步履。在設計系統時，你但願它具有準確的意圖、念頭和目標。它仍舊可能無法按照你的意願步履，由於它可能缺乏能力，也可能不夠智慧，不知道如何實現你的意願。但假如它具有準確的意圖，你可以說它是對齊的。

人們對對齊的最後一種含義是任何減少人類滅絕風險的技術努力。有時，也指像我這樣專注於對齊與安全這個領域的人所在的社群。這也不是我喜歡的定義。這只是人們針對如何解決這個題目的一個設法。但終極，在管理、監管和國際合作方面還需要進行更多工作，例如締結條約，這是緩解這一風險所必須的。

騰訊新聞《潛望》：科技公司和科研機構在對齊技術上最近取得了哪些新進展？面臨最迫切的挑戰和困難是什麼？

David Krueger：最重要的是針對大型語言模型的微調技術，他們已經做了許多工作改變模型的行為。好比，GPT-3和GPT-4的區別在於，對系統進行了對齊，能更多地按照設計者的意圖步履。主要是透過強化學習和人類反饋實現，儘管詳細細節並不公然。這在很大程度上取得了成功，但它並沒有完全消除這些模型存在的題目。

我擔心這種技術對於更強盛的系統可能不足夠，由於它對行為的改變可能相對錶面。跟著系統更強盛，這個題目可能變得更嚴峻。

這有點像練習動物的比喻，就像你練習一隻狗不上傢俱。也許當你在場時，它在這方面表現得非常好，但假如你離開房間，它仍舊上傢俱。類似情況可能會發生在這些模型中。它們看起來可能是對齊的，但假如它們以為我們不會留意到它們的不當行為，它們仍舊會表現不良。

騰訊新聞《潛望》：當AI智慧比人類智慧許多時，人類怎麼在一個超級智慧體上完成對齊工作?

David Krueger：這是一個開放性研究題目。因此，進行AI對齊的研究很重要，就是為了找到這個題目的謎底。

騰訊新聞《潛望》：我們如何透過對齊，使AI愛護人類而不是傷害人類？

David Krueger：這與前一個題目是一樣的。我但願我有一個謎底，但目前還不知道。

這三大誘因能增加AI失控風險

騰訊新聞《潛望》：你以為，如今這個時間點處於AI歷史上的什麼時刻？

David Krueger：我們已經到了世界都開始意識到風險的時刻。我等待這個時刻到來已經良久了。

騰訊新聞《潛望》：你從十年前聽Geoffrey Hinton教授的深度學習課程後，就開始擔心AI可能導致人類滅絕。你為什麼在這麼早的階段開始憂慮？

David Krueger：我從原則上就擔心在某個時候會發生這種情況，由於總有一天它會比人類更智慧，但當我看到Hinton的課程時，我的擔憂發生了變化。深度學習的潛力比我之前聽說的其他方法更大，可以產生真正的智慧。

騰訊新聞《潛望》：在什麼情況下，人工智慧系統會失控？

David Krueger：第一，假如它們比我們更智慧，你開始擔心它們在細節上失控的時候，但很難正確猜測這種情況會如何發生。

第二個增加風險的因素是，存在大量競爭，但願儘快開發和部署強盛的AI系統。目前我們在谷歌和微軟之間看到了這種競爭存在。人們也擔心國際競爭，這可能是經濟競爭，也可能是地緣政治競爭，甚至可能是軍事競爭。

第三個因素是，假如你正在構建對世界產生更直接影響的AI系統。目前我們看到的系統只是語言模型，它們只是天生文字。但也有許多人在研究將它們與其他系統結合，例如使用它們編寫程式碼，使用它們控制不同的事物，無論是在線上仍是利用它們來控制現實世界中的事物。給予這些系統更多的控制權和自主權會增加風險。

再比較一下我們現在擁有的系統，這些系統主要只是練習來猜測文字，這是一種相對安全的構建系統的方式——與要求系統在某個環境中實現目標比擬，特別是與系統在和現實世界、物理世界頻繁互動的環境中實現目標比擬，這更安全。當系統試圖在現實世界中實現目標，它們可能自然而然地嘗試獲取更多資源和權力，由於這些對於實現長期目標是有匡助的。

因此，系統越是開放、越是自主、越是智慧，並且越是旨在實現長期目標，系統失控的風險就越大。

騰訊新聞《潛望》：假如你以為應該制定全球協作的框架，以確保各國在AI發展方面遵循共同的原則和尺度，那麼這些詳細的原則和尺度應該有哪些？

David Krueger：我們絕對需要這樣做，而且需要緊急著手去做。由於這將是難題的，將需要大量的討論和談判，由於不同國家之間存在很多衝突和不合。

關於詳細細節，這是我仍在思索的題目。我們但願確保我們擁有一些非常正當的管理機構或管理體系，假如在未來的某個時候我們覺得有必要，能夠推動暫停。這是其中一個重要部門。

在我們正在開發和部署的系統方面，情況變得更復雜。我們但願有一些測試、評估和審計機制。我們可能還需要考慮某種形式的許可證，但還有許多細節需要解決。目前，我腦海中沒有完整的方案。這就是為什麼我但願我們能激勵更多從事政策制定、擁有政策和國際關係等方面專業知識的人們去思索這個題目。

騰訊新聞《潛望》：在當前的人工智慧系統中，哪些方面需要儘快改進，以應對潛伏的風險和威脅？

David Krueger：一是魯棒性（注：魯棒性是指在異常和危險情況下系統生存的能力）。我們當前的系統在魯棒性方面存在重大題目，其中最引人注目的是對抗性魯棒性題目，即對輸入進行微小改變（甚至對人類來說難以察覺）可能對系統的行為產生巨大影響。這個題目已經是眾所周知的題目大約有10年了，但好像仍舊沒有解決方案。假如我們考慮那些追求某個目標並試圖最佳化它們對目標的理解的系統，這是非常大的題目。由於根據它們對目標的理解，最優的結果可能與我們所想象或意圖的目標有很大不同。而我們目前進行的評估很難發現。

另一個是，我們對這些系統工作方式缺乏理解。我們真的但願能夠理解這些系統的工作方式，這是我們能夠猜測它們行為的最佳方式之一。我們但願確保它們不會在新情況下以意外和危險的方式行事。這與魯棒性題目有關。

人類滅絕間隔現在遙遠嗎？

騰訊新聞《潛望》：現在來看，人類間隔滅絕的間隔遙遠嗎？預計會多少年？

David Krueger：Jeffrey Hinton一直在說我們要花20年或更短時間才能獲得通用人工智慧（AGI），這是公道的時間範圍。這與我的觀點相稱相似。

我以為在那之後不久，人類可能會滅絕，但也可能需要更長的時間，我猜這也是我想誇大的，即使這還有幾十年，我們也需要儘快開始解決。

再次回到氣候變化的類比。我們花了幾十年時間才開始真正採取有效的步履，但仍舊沒有做足夠的工作來防止氣候變化帶來的嚴重後果。這是因為它是一種複雜的全球協調題目。人工智慧也會面臨類似的情況。我們應該儘早開始。

騰訊新聞《潛望》：大語言模型能帶來AGI嗎？

David Krueger：許多人現在都在問這個題目。我的觀點比較複雜。我會說這是有可能的，但更有可能的是需要將其與其他技術相結合，甚至可能需要開發一些新技術。

騰訊新聞《潛望》：怎麼看待人類與人工智慧的關係？人類會是智慧的過渡嗎？

David Krueger：只有時間能告訴我們謎底。我但願不會這樣。不外現在，這是一個我們還有一些主動權和能力去引導、決定未來將如何發展的題目。假如我們能夠以聰明和協調的方式步履，假如我們能夠走運，那麼作為人類，AI是否在某個時刻接管，將取決於我們自己的決定。

騰訊新聞《潛望》：Hinton有一個非常有趣的觀點。他說：毛毛蟲會提取養分，然後轉化為蝴蝶，人們已經提取了數十億認知的養分，GPT-4就是人類的蝴蝶。你同意這個觀點嗎？

David Krueger：非常富有詩意，我不以為完全正確，但也許它觸及了某種本質上的真理，即AI系統不一定需要從頭開始、經歷艱苦的方式學習一切。人類需要透過漫長的進化才達到人類智慧的水平，但現在人類產生了所有這些文化產品，包括網際網路上的所有文字，這對於AI系統是非常有啟發。因此，它們不一定需要重新經歷所有的進化來達到類似的智慧水平。

騰訊新聞《潛望》：你是第一次來中國嗎？對來中國的印象怎麼樣？對中國的人工智慧和大模型發展，是否有一些建議？

David Krueger：這是我第一次來到中國。我昨天早晨剛到。整個訪問時間都是在與人會面和交談，人們很友好，我在這裡有良好體驗。但我不覺得我已經真正體驗到中國。我只是與研究職員會面，不幸的是，對我來說這將是一個短暫的旅行，但我但願在離開前的最後一天至少能好好看看北京。

（對中國的建議）我想，重要的是思索和理解安全性和對齊性。從我進行的對話中可以看出，人們至少在某種程度上已經在做這方面的工作。

騰訊新聞《潛望》：片子《Her》中很多場景已經逐漸在我們的真實世界裡泛起。人類會對人工智慧會產生情感嗎？你對你所開發的AI模型是否有情感上的依戀？

David Krueger：我沒有，但據我所知，有人有。

確實存在類似的人工智慧女友聊天機器人，有人已經對這種關係產生了情感依靠。這是這項技術的一個悲哀的後果。