AI到底有多可怕?美著名計算機專家發出警告:人工智慧比核彈更危險

首頁 > 科技

AI到底有多可怕?美著名計算機專家發出警告:人工智慧比核彈更危險

來源:鷺島風情 釋出時間:2023-06-14 17:02

AI到底有多可怕?美聞名計算機專家發出警告:人工智慧比核彈更危險

《AI未來指北》欄目由騰訊新聞推出,邀約全球業內專家、創業者、投資人,探討AI領域的技術發展、商業模式、應用場景、及管理挑戰。

文/ 郭曉靜

Stuart Russell(斯圖爾特·羅素)是加州大學伯克利分校人類相容人工智慧中央(Center for Human-Compatible AI)創始人兼計算機科學專業教授,同時也是人工智慧領域「尺度教科書」《人工智慧:一種現代方法》的作者。這本書的初版早在1994年已經完成,當時就有一個章節,標題是《假如我們成功了呢》,主要討論“假如我們製造出比人類更強盛的人工智慧系統,我們如何永遠把握它們的控制權?”,標題中所說的成功,就是製造出和人類一樣智慧的機器。

這個題目並不是危言聳聽,計算機每秒可以執行的基本運算元目大約是100億次,而人類大腦基本上每秒只能執行大約100次操縱。計算機之間的通訊速度比人類快了10億倍。假如某一天,我們真的能探索出人類認知的奧秘,疊加計算機的超速度,人類的文明岌岌可危。

最可怕的是,GPT-4確實讓我們看到了“智慧”的火花,而我們人類,還沒有做任何嚴厲的預備,假如這一天忽然到來,羅素教授以為“這可能會比核戰爭更嚴峻”。

人工智慧領域有影響力的人正在聯合起來,呼籲更為理性、對人類有益的人工智慧的研發,三週前,Stuart Russell、被稱為人工智慧三巨頭的Geoffrey Hinton、Yoshua Bengio、OpenAI CEO Sam Altman等人聯合簽署了《關於人工智慧風險的宣告》,建議“減輕人工智慧滅絕風險應成為全球優先事項”。幾個月前,Stuart Russell也與Elon Musk等,共同簽署了《暫停超過GPT-4巨型人工智慧研發6個月》的公開信。

  • 1為何這些全世界最瞭解人工智慧的人,多次集體預警人工智慧的風險?科幻中的人類與機器人大戰的場景,真的會變成現實嗎?騰訊科技對話了Stuart Russell教授,和他討論了人工智慧領域最近備受關注的幾件事情。
  • 2為什麼人工智慧領域有影響力的人物,短時間內簽字兩份公然檔案,預警AI風險?它們有什麼區別?為何Russell教授本人在兩個檔案上都簽名了?
  • 3為什麼OpenAI CEO Sam Altman僅簽署了人工智慧風險宣告,而沒有在暫停巨型人工智慧研發公開信上簽字?
  • 4簽署完公開信,馬上又成立了AI公司,馬斯克的念頭真的不單純嗎?
  • 5GPT-4以大量語言資料為基礎進行練習,這種技術路線有什麼潛伏風險?真的會毀滅人類嗎?
  • 6微軟研究團隊研究GPT-4四個月,併發布了火爆全網的論文《通用人工智慧的火花》,他們對GPT-4的運轉機制,畢竟瞭解了多少?

Stuart Russell接受騰訊科技專訪

以下為對話內容:

騰訊科技:你是什麼時候開始對人工智慧感興趣的呢?

羅素:我小時候看了許多科幻小說,小說中常常看到智慧機器人。我12歲的時候得到了一個可以程式設計的計算器,我試著給它程式設計,不幸的是,這個計算器只有很小的記憶體,我只能編寫36個字母長度的程式,這和能實現“智慧”的程式相差太遠。但開始我對這件事著迷。後來我在高中學習了計算機科學,也從那時候開始嘗試編寫“象棋程式”。然而大學的時候,我學了神經科學,還好後面我又找到了機會,重新研究人工智慧。

騰訊科技:你後來編寫了被許多著名大學使用的教科書《人工智慧:一種現代方法》。但是早在2016年,你就開始研究如何研發對人類無害的人工智慧,那時人工智慧還在發展早期,你這麼早就看到了人工智慧的風險了嗎?

羅素:這本書的初版是在1994年完成的,在結尾有一節,標題是《假如我們成功了呢》。由於人工智慧的目標一直是製造與人類一樣智慧或比人類更智慧的機器。我以為重要的是要問假如我們成功了會發生什麼?

因此,即使在1994年,我也曾討論過可能的風險。我們如何能夠既獲得人工智慧的成功,又不讓人類毀滅呢?就猶如你剛剛提到的,2016年,“人類相容人工智慧中央(The Center For Human Compatible AI)”就在伯克利成立了。從那時候開始,我就開始探索,如何能夠創造出對人類有益的AGI(通用人工智慧)。

這是一個看起來非常簡單的題目:“假如我們製造出比人類更強盛的人工智慧系統,我們如何永遠把握它們的控制權?”我一直在尋找謎底,我以為我們已經有了一些初步謎底。正如第四版書中所解釋的那樣,這個謎底意味著在新的基礎上重新構建我們對人工智慧的理解,並重新構建我們創造的所有技術。所以這就是我們現在所做的事情。

騰訊科技:大約兩週前,您簽署了關於人工智慧風險的宣告,其中建議“減輕人工智慧滅絕風險應成為全球優先事項,與流行病和核戰爭等其他社會規模風險並列。”您為什麼要簽署這份宣告?

羅素:我簽字是因為我以為這件事真的可能會發生。

騰訊科技:和GPT-4有關嗎?

羅素:不是由於GPT-4,宣告沒有提到GPT-4,宣告只是說我們需要關注這個風險,即我們將失去對我們文明的控制。人類能夠控制地球上很多其他物種,由於人類更智慧。

假如機器比我們更智慧,為什麼我們以為我們能夠在未來保持對我們文明的控制?所以這就是風險。根據很多哲學家、未來學家、研究我們文明長期未來的專家分析,他們以為這個風險實際上是我們面臨的最大風險。

核戰爭可能會是一場巨大的劫難,但大多數人以為人類將在其中倖存;大規模氣候變化也將是一場劫難,但大多數人以為人類將在其中倖存。但我們可能無法倖存的兩個風險:一種是對人類具有嚴峻傳染性和致命性的流行病,另一個就是我們無法控制的人工智慧系統。

騰訊科技:幾個月前,您與Max Tegmark、Elon Musk等人一起呼籲當即暫停練習比GPT-4更強盛的人工智慧系統至少6個月。為什麼您支援這封公開信?

羅素:這是一個非常有趣的題目。正如你所說,這封信呼籲暫停開發比GPT-4更強盛的大語言模型的開發。因此,它並不是對人工智慧研究的禁令,很多人將其描述為禁令。它實際上是說,像GPT-4或更強盛的系統已經對我們的社會產生了重大風險,而我們沒有有效的管理辦法。

我的一個朋友在英國政府和食物尺度方面工作。她指出,關於三明治的劃定都比關於人工智慧的劃定更多。

因此,這封信實在是要求我們定義系統在釋出之前應滿意什麼樣的安全尺度,這與三明治是一樣的。假如你不符合這些安全尺度,就不能賣三明治,這很簡樸。而我們還沒有為人工智慧系統制定這些安全尺度,我們需要時間來做到這一點。

當你去對照一些關於人工智慧安全性的提議時,例如中國提議系統應輸出真實資訊,或歐洲提議系統不應操作人類行為,就我們所知。

大型語言模型都將無法滿意這些尺度,因此它們不安全。我以為人工智慧社群的準確反應不是埋怨“這是不公平的。即使它們不安全,我們也應該能夠釋出我們的系統。”準確且負責任的反應應該是說,“好吧,讓我們努力使它們安全。這樣就可以釋出它們了”。這就是公開信的目的。

騰訊科技:“暫停超過GPT-4的人工智慧研發公開信”這件事目前有進展嗎?

羅素:在我寫的另一本書《AI新生:破解人機共存密碼——人類最後一個大題目》中,有一段虛構的電子郵件對話,是一種高階外星文明與人類之間的想象對話。他們給人類聯合國寫了一封電子郵件,警告說他們將在30到50年後到達地球。人類聯合國回覆說,“人類不在辦公室,我們會在回來後回覆您”。這個例子的重點是,在我舉這個例子的時候,也就是2015年,世界各國政府完全沒有關注人工智慧的風險。

而公開信的結果是,“人類現在回到了辦公室”。他們看到了這封電子郵件,不是來自高階外星文明的電子郵件,而是來自未來人工智慧系統的電子郵件,警告說我們很快就會到來。世界各國政府現在正在關注這個題目。

這實際上與收到外星文明的電子郵件的後果非常相似。歐洲正在呼籲召開緊急全球峰會。中國正在釋出非常嚴格的法規,限制這些系統的開發和部署。美國現在正在討論制定法規,以保護人們免受不安全的人工智慧系統的傷害。各國政府正在與世界各地的科學家交談,詢問科學家們應該怎麼做?我以為這是一件好事。

因此,公開信的結果是,人類現在回到了辦公室,並正在思索如何應對這一挑戰。

騰訊科技:公開信和後來釋出的宣告之間有沒有關係?你為什麼都簽名支援了?但是OpenAI的CEO Sam Altman並沒有簽署第一封信?

羅素:公開信和後來釋出的宣告之間的區別在於,公開信相稱長。它提出了一個詳細要求,要求正在開發這些系統的AI實驗室暫停研發和政府應該監管這些系統。

它還談到了這些系統已經存在的很多風險,包括虛假資訊、失業等。這引起了許多爭議。有人沒有簽署,由於即使他們以為AI系統存在風險,也覺得6個月的延遲不是準確的政策回應。 第二份宣告的目的實際上是避免所有這些爭議,只是對風險做出非常乾淨、簡樸的陳述。有趣的是,OpenAI的CEO Sam Altman沒有簽署第一封信,但他簽署了第二份宣告。

但是至於為什麼,你得問問他。可能是因為他以為第二份宣告只是真實而重要的,人們應該會贊同。而公開信是一個政策建議,不同於真理陳述。也許他不同意政策建議,或者他以為這應該是一個輕微不同的政策回應。至於6個月的延遲,我也有不同意見,我的觀點是應該有一個無限期的延遲。假如它們不安全,那麼就永遠不應該釋出。假如行業需要20年時間來找出如何製造安全的系統,那麼沒題目,我們可以等20年。

騰訊科技:外界仍舊對這封公開信存在一些質疑,好比有人以為它沒有實際的效果,還有人簽名是處於政治或貿易的某些念頭,你會有同樣的擔憂嗎?好比馬斯克,在簽署完公開信之後,馬上就開始了相關的專案。

羅素:對於第一個題目,有人沒有簽署這封信,由於他們以為它不會產生任何影響。我以為事實上它產生了巨大的影響。自從公開信發出以來,這幾乎天天都在幾乎所有報紙的頭版上,這導致了大量政治層面的實際效果。所以它實際上比我預期的更有效。這是第一件事。

第二個關於簽署者念頭的論點。在很多立法機構和很多其他組織中遵循的議會辯論規則中,當你討論一個話題時,質疑提出論點的人的念頭是不合適的。你要處理論點的實質,而不是這個人的念頭。這是辯論的基本規則。

其中一些是針對埃隆·馬斯克的,由於他決定資助一個人工智慧研究專案,所以說他念頭有題目,可能也不太符合邏輯。假如政府由於這封公開信,從而有動力制定法規,那麼這些法規將同樣合用於他的公司,也同樣合用於其他所有人。所以我以為這些關於念頭的論點是無效的。

騰訊科技:下面讓我們繼承談一下GPT-4吧,你以為它真的已經擁有智慧了嗎?多久才能達到人類的智慧水平?

羅素:智慧?我同意GPT-4好像很智慧。但是我以為這有點欺騙性。舉個例子,假如我拿一張紙,這裡有一張。假如我要把這個讀給你聽,它會聽起來非常智慧。但是沒有人以為這張紙是智慧的。對吧?紙張只是攜帶了別人寫的文字。聰明屬於文字的作者,而不屬於紙張。

所以當GPT-4用非常智慧的文字回答你時,它是一張紙嗎,仍是文字的作者?我覺得謎底是居於兩者之間。我們不知道它離紙張有多近,離真正的文字作者有多近。

而且這個謎底很難知道,用於練習GPT-4的文字數目大約相當於人類歷史上的所有書籍、報紙檔案、電視臺檔案、法律組織檔案、立法機構檔案。

沒有一個人類讀過那麼多資訊,甚至連這些資訊的1%都沒獲得過。所以我們不知道讀那麼多資訊是什麼感覺。

對於任何給定的題目,我們都很難弄清楚它所依靠的資訊來源是什麼。好比算數,練習資料中有許多算術例子,好比我們告訴系統:46+92即是138,你會期望系統從數千個數學例子中學習算術規則,然後能夠做新的算術題,但事實證明行不通。

它假裝得很好。但是當你給它更難題的例子時,它老是得到錯誤的謎底。所以它可能沒有學會算術規則。它只是在假裝,它並沒有真正學會算數。在這種情況下,它好像更像一張紙,而不像一個人類。

所以我們仍在進行許多有趣的研究,試圖弄清楚它是否能夠推理,甚至是否正在構建內部世界模型?

題目是它是否真正能夠形成一個內部的世界模型?我以為有一些證據表明它並沒有這樣做。

當你向一個人類提問時,有時我們會以不智慧的方式回答,而不參考內部世界模型。例如,假如我說,嗨,你今天好嗎(Hi!How are  you today)?你會說,很好,謝謝,你呢(I’m fine.Thank you,and you?)這是一種機械式的回答。在這個意義上,我沒有檢查我的內部世界模型來看看我真實感覺如何,然後給出謎底,我只是以例行的方式回答。

假如我說,“嗨,你今天銀行賬戶裡有多少錢”?那麼你就必需檢查一個內部的世界模型,或者甚至拿出手機檢視你的銀行餘額。但你是根據某種真理模型來回答題目的。假如我說,你的車停在哪裡了?你會參考一個內部世界模型:“它停在那邊的停車場裡”。這對人類來說很正常。

但是我以為有許多證據表明這些大型語言模型並沒有在回答題目,我以為這一點非常重要,它們好像回答了題目,但實際上它們並沒有回答題目,由於它們實際上沒有一個內部的真實模型可以參考來回答題目。它們更像是“我很好。謝謝。你呢?”只是在例行公事。

我們從哪裡可以得知這點呢?GPT系統可以對同一個題目給出矛盾的謎底。假如你參考一個真實的內部模型,你不能對同一個題目給出矛盾的謎底。一個我朋友發給我的例子是,你問,“大象和貓哪個更大”。它說“大象比貓大”。所以你以為它知道大象比貓大。然後你問,“哪個不是更大的,大象仍是貓”。它說,“大象和貓都不比另一個更大”。它在兩個句子中自相矛盾。它沒有關於物體相對大小的內部真實模型,由於假如有,它會給你一個一致的謎底來回答那個題目。

GPT-4只有幾周時間向外部研究職員開放,所以現在下定論還為時過早。但我以為我們會發現,實際上這些系統並沒有像我們以為人類那樣具有一致的內部真實模型。

回到最初的題目,GPT-4是否正在創造通用智慧?我以為謎底可能是否定的。它做得很好,創造了一些能夠進行非常有效的對話的東西,語法非常準確,無論是英語仍是中文。它很少犯語言錯誤,由於它的謎底連貫,並且好像是邏輯順序,並且它們好像有意響應您的輸入。

“真正的智慧正在發展中。真正的智慧不會“為了準確”而回答。當我們對GPT的原理了解更多,可能我們能夠揭開它的一些弱點畢竟是因為什麼。我以為,創造通用智慧是一個非常複雜的謎題。人工智慧研究已經進行了大約75年左右。它已經產生了很多突破,這些突破將構成這個謎題的一部分。對我來說,大型語言模型也是謎題的一部分。

但我們也應該意識到,現在我們看到的那種高興,實在在1950年代也同樣經歷過。當時我們建造了可以自己學習並擊敗其人類創造者的系統。我以為在1957年電視上演示過,這引起了全球讚歎,“哇 !機器可以做到這一點”。與1950年代不同的是,你現在可以在網際網路上使用它。

過去幾個月中發生的公家感知上的巨大變化,是因為這是歷史上首次,每個擁有網際網路訪問許可權的人都可以與這些系統進行互動並切身體驗。因此,他們正在品嚐通用智慧可用的世界可能會是什麼樣子。這只是一個味道,一種感覺,不是真正的東西。但僅僅那種感覺就足以讓我以為“世界會醒來”。

騰訊科技:我們知道我們不能信任 GPT-4,但是大眾仍是會相信它,這也會造成一些風險,我們應該如何提示大家,不要去輕信 GPT-4 呢?

羅素:這個題目與我們所謂的“人工智慧幻覺”有關。有些人不喜歡這個詞,但我以為這是一個公道的詞。這意味著系統在不知道的情況下天生虛假資訊。所以它並不是故意撒謊。它只是輸出實際上並不正確的資訊。這是因為它沒有根據內部真實模型回答題目。它不相信它所說的所有虛假事情。“相信”這個詞不適用於GPT-4,它只是一種語言生成器。在天生描述完全錯誤的語言的情況下,它並沒有撒謊。

我們信任它,由於通常情況下,當我們與人類交談時,他們會給我們自信、具體的謎底,並附有參考文獻、引用、報紙文章的參考文獻、法律案例的參考文獻。

所以當有人類這樣做時,你會相信他們,由於以那種方式撒謊是愚蠢的。但這些系統沒有概念他們在撒謊。所以整個信任的概念,你必需把它扔掉。

這種透過系統對話性傳達的概念就像另一個人一樣。我以為大多數普通人誤以為它就像另一個人一樣,只不過是一個知識賅博、讀遍全世界的書籍,並能回答任何題目的人。

騰訊科技:那你如何定義AGI 呢?假如有一天,我們達到了 AGI,它和人類的聰明是否還會有本質不同?

羅素:我以為通用人工智慧將能夠快速學習並超越人類在任何領域中的能力,只要這些領域是人類大腦可以處理的,例如下棋、開車、拉小提琴、教孩子騎腳踏車或者其他任何人類可以用大腦做到的事情,人工智慧都將能夠做到,而且可能做得更好。

計算機作為物理物件和人類大腦之間存在巨大的差異。人類大腦是一個了不起的東西,它能夠從比我們目前使用的人工智慧系統少得多的資料中學習技能、學會語言等。因此,人類大腦實際上更擅長髮現資料中的潛伏模式,併成功地應用在現實世界中。我以為,在我們理解了人類大腦如何做到這一點之前,AGI是不可能實現的。

我以為當前的技術正在彌補對大腦的學習方式不瞭解的缺陷。它透過使用比我們目前使用的資料多100萬倍來彌補這種缺陷。

當我們真正理解了學習方式時,我們應該看到這些系統能夠從與人類使用相似數目的資料中學習。當我想教我的孩子什麼是長頸鹿時,我會拿出一本圖片書。這本圖片書有一頁是“G”代表長頸鹿,上面有一張長頸鹿的小卡通圖片,黃色和棕色相間,有一個長長的脖子。孩子看到那張小小的長頸鹿圖片就知道什麼是長頸鹿了。現在我可以給孩子看一張真正長頸鹿的照片,或者一個長頸鹿的骨架,或者倒著放著的長頸鹿,他們都會認出這是長頸鹿。

人類孩子只需要一個例子就能學會。創造出具有這種能力的AGI,我們還需要很長的路要走。

計算機每秒可以執行的基本運算元目大約是100億次。而人類大腦基本上每秒只能執行大約100次操縱。這是一個巨大的差異。

假如這是基本速度的一億倍,那麼計算機記憶體呢?正如我們所知道的,由於我們可以透過搜尋引擎看到這一點,它們可以輕鬆地記住整個網際網路。沒有人類能記住那麼多。它們在速度、記憶體、資訊共享能力方面具有巨大的上風。

它們可以以每秒100億位元的速度相互發送資訊,而我們只能互相交談,大約每秒只有10位元左右。所以計算機之間的通訊速度比人類快了10億倍。

這些上風意味著,當我們理解了作為人類認知基礎的演算法,並能夠在機器中重新建立這些能力時,然後再加上計算、速度、記憶體、通訊頻寬等方面的上風,它們將遠遠超過人類。所以我們應該想象,在我們理解如何準確地做到這一點之前,我們可以透過使用大量資料來假裝彌補我們不真正瞭解智慧應該如何工作的事實。當我們理解了智慧應該如何工作時,AI系統將在每個維度上迅速超越人類能力。

所以這就是為什麼我們在還沒弄清人類大腦的情況下,可以透過使用大量資料來假裝彌補“我們還沒有真正瞭解智慧”的事實。當我們真正弄清了“智慧畢竟如何產生的”,AI系統將在每個維度上迅速超越人類能力。

所以這就是為什麼我們必需先解決控制題目。假如我們在沒有解決控制題目的情況下開發出AGI,那麼我們將失去控制,到那個時候才去想這個題目的時候,為時已晚。這也是我簽署宣告的原因之一,就是試圖向人們傳達這一點有多麼重要。這與人類面臨的任何其他題目一樣重要,甚至可能更重要。

騰訊科技:這樣說來,目前包括 GPT-4 在內的大部分人工智慧技術,實在仍是“技術黑盒”。當科學家都沒真正弄懂它的原理的時候,就讓它去接觸這麼多普通人,這是不是很不負責任?

羅素:什麼是黑盒子呢?這並不是說我們看不到裡面,我們可以看到裡面。事實上,有GPT-4的開源版本,所以這並不是一個秘密。事實上,即使你可以看到所有的東西,你所能看到的只是一萬億個引數。

我來舉例,試著讓你感受一下這是什麼樣子:你想象一下一個鏈環構造的圍欄,就像一個鑽石外形的圍欄,我們用這種圍欄來圍住建築工地和公園等地方。

你想象一下那個鏈環圍欄,每個環都是電路中的一個連線,那麼GPT-4系統基本上是一個有一萬億個連線的巨大電路。

假如那是一個鏈環圍欄,它將是大約50千米乘以50千米的面積,2500 平方千米,它將籠蓋多大面積的城市。現在想象一下,有人說它就在那裡,每一個連結上都有一個數字,表示電路中這個連結的連線強度。我們完全無法理解發生了什麼。假如有人說,在電路中,它以為有1.07億人口在某個地方,但是你找不到它。它只是一堆數字,我們無法理解資訊儲存在哪裡,推理發生在哪裡,假如發生了推理。它有目標嗎?我們不知道。

我詢問了微軟研究團隊的負責人,他們的工作是探索GPT-4的能力。所以在釋出之前,他們已經使用GPT-4進行了幾個月的實驗。他們寫了一篇名為《通用人工智慧的火花》的論文。他們說這個系統展示了AGI的火花,我問那個小組的首席研究員,GPT-4是否學會了建立自己的內部目標。假如是這樣,那麼它們是什麼?他說,我們不知道。所以現在我們有了一個系統,但是它的內部運作的我們並不理解,它有可能已經有了自己的內部世界目標。

我們還什麼都不知道,在這種情況下,就把這個人工智慧的黑盒子釋出給數億人。對我來說,這好像是不負責任的。

我還爭論過兩件事情。首先是我們練習這些系統的方式。當我們練習它們時,我們只是練習它們模仿人類語言。實在當人類寫作和演講時,他們是有自己的內部世界目標的,而這些目標指導著他們說出來的內容。假如我想和某個人結婚,那麼我會在談話中說一些話來說服她和我結婚,或者至少試圖說服她喜歡我。假如我競選公職,我是一名政治家,我會說一些話來試圖說服人們投票給我。因此,所有人類語言都是由有目標,並根據目標步履的人創造出來的。

假如你想模仿人類的語言行為,那麼這個練習過程的天然結果就是系統將獲得與撰寫所有這些文字的人類類似的目標。

現在你實際上要求它模仿的不是一個人,而是成千上萬寫下所有這些文字的人,他們都有不同的念頭。所以你實際上正在建立一個具有多個人格的系統,有時它會像一個人一樣行事,有時它會像一個不同的人一樣行事,具有不同的目標。

在《紐約時報》中有一次非常廣泛的對話,對話雙方是《紐約時報》記者和必應搜尋引擎中執行的 GPT-4 的一個版本,名為 Sydney。

這位記者名叫凱文,在某個時候,凱文說了一些話,導致 GPT-4 中激活了特定的個性。現在啟用的目標是 GPT-4想要嫁給凱文。

於是它開始試圖說服凱文離開他的妻子,說他的妻子並不真正愛他。凱文真正愛 的是Sydney 這個聊天機器人。這一過程持續了許多頁。凱文一直試圖改變話題,而 Sydney 一直在說不,我真的愛你,你也真的愛我,你不愛你的妻子,這更重要。我們應該永遠在一起等等。這好像是一個例子,激活了系統學習到的目標之一,並指導了系統的行為。

這真的很糟糕,對吧?一是,我們不知道系統的目標是什麼,我們沒有辦法找出來,除非可能透過詢問,但你可能得不到準確的謎底。

但是,我們不但願 AI 系統具有與人類相同的目標。這一點非常重要。有些人想成為世界總統或宇宙統治者,我們不但願 AI 系統有這個目標。

我們獨一但願 AI 系統具有的目標是“對人類有價值,對人類有益”。很少有人有這個目標。總體而言,人類的目標都是與自己相關的,人類想活下去,想擁有一個家庭,想相對富裕,想受歡迎,想成功。他們想在自己選擇的工作上表現出色。這些都是人類具有非常公道的目標。至少到目前為止,沒有辦法透過從人類天生的文字中練習大型語言模型來使其具有這個目標——僅對人類有益。

我以為,假如我們要構建安全且對人類有益的 AI 系統,我們就不能使用這種方法。這是錯誤的方法,會產生因為錯誤原因而做錯事情的系統,我們必需嘗試一些不同的方法。

騰訊科技:這是不是也是將《人工智慧:一種現代方法》的第四版做了一個重要更新的原因?(在之前的版本人工智慧的目的被定義為“建立試圖最大化預期效用並由人類設定目標的系統”,第四版不再假定AI系統或署理具有固定的目標)

羅素:我想我應該坦白,由於在這本教科書的前三版,我以為我們只是試圖提供一個關於人工智慧的同一理解。

我們發現這個智慧體的概念,它追求的目標是由人類定義的,實際上捕獲了我們對人工智慧研究的所有理解。而且這個理解是,AI 系統應該被賦予目標。然後他們應該以理性的方式追求這些目標。這是從哲學、經濟學中鑑戒來的。什麼是理性行為?在1940s,這在哲學、經濟學中已經是一個非常成熟的理論了。它意味著最大化預期效用。在 AI 中,最初的版本比這更受限制。它們完全追求固定的目標,假設世界是確定性的。你不必擔心不確定性。你有一個固定的目標,不涉及權衡。所以你只需要想出一個實現目標的計劃就可以了。即存在目標並建立機器來以最佳方式實現目標。這個設法可以追溯到至少兩千五百年前的亞里士多德時期。

大約在 2013 年左右,我意識到那是一個錯誤。由於在現實世界中,在實驗室之外,不可能準確地指定目標。假如你在下棋,那麼目標應該是將對手將死,而贏得比賽。假如你正在導航,你應該找到最短的路徑到達目的地。我們提出瞭解決這些題目的演算法。

但在現實世界中,情況並非如此。在古希臘時期,有一個關於國王米達斯的傳說。米達斯是一個傳奇國王,據說非常非常富有。但在故事中,他哀求神靈讓他所觸碰的一切都變成黃金,他以為這是準確的目標。但後來事實證明,在現實世界中,他的食品變成了黃金,所以他不能吃;他的水變成了黃金,所以他不能喝;他的家人變成了黃金,所以他不再有家人,終極在痛苦和飢餓中死去。

因此,我們很長時間以來就已經明白,在現實世界中無法準確地指定目標。你總會健忘一些重要的東西,或者你會錯誤地陳述事情。這意味著 AI 的這種基本方法——即人類指定目標,機器實現目標——在現實世界中是不可行的。我們無法準確地做到這一點。

假如我們指定錯了,而 AI 系統比你更智慧,但是AI 系統正在追求錯誤的目標,你無能為力,由於為時已晚。一旦你設定了目標,AI 系統就會實現它。這就是國王米達斯發現的題目,太晚了。因此,解決方案好像是構建 AI 系統,它們但願對人類有益,並但願追求人類想要的未來。

但在一般情況下,它將不確定人類想要什麼。這實際上會導致非常不同的技術路線,例如,一個不確定人們想要什麼的系統可能會提出一個計劃,但假如該計劃涉及到我們偏好不確定的世界的某個部門,它可能需要徵得許可。

例如,我們可能會說我們真的想解決氣候變化,我們真的需要將二氧化碳水平降回到工業革命之前的水平。

因此,假如系統提出了一種解決方案,其中涉及某種化學反應來從大氣中去除二氧化碳,但它會使海洋變成酸性。它會說,我不確定人類是否想要這樣做。他們想解決大氣題目。我不知道他們對海洋有什麼要求。

因此,在執行此操縱之前,AI系統應該詢問人類,你們關心海洋嗎?我們會說,是的,我們關心海洋,我們不但願海洋變成酸性。該系統現在已經瞭解了我們的偏好。在傳統版本中,系統從未哀求許可,由於它以為自己已經知道你想要什麼。而在新版本中,系統現在有理由哀求許可。在極端情況下,假如我們想封閉它,則它但願被封閉,由於它但願避免執行任何可能導致我們想封閉它的操縱。再次誇大,在傳統情況下,它將避免被封閉,由於它但願實現目標。它實際上會抵制人類任何試圖封閉或以任何方式干擾其實現目標的嘗試。

因此,我以為這種新型 AI 實際上是更加智慧和更加安全的。但正如我在書開頭所說,我們還沒有在這個新基礎上開發出所有技術。仍有大量研究需要進行,因此,也許在第五版中,我們將解釋如何構建這些行為準確的新型 AI 系統。我相信,假如我們能做到這一點,即使系統比人類更智慧,我們也有可能永遠保持控制。

AI到底有多可怕?美聞名計算機專家發出警告:人工智慧比核彈更危險

《AI未來指北》欄目由騰訊新聞推出,邀約全球業內專家、創業者、投資人,探討AI領域的技術發展、商業模式、應用場景、及管理挑戰。

文/ 郭曉靜

Stuart Russell(斯圖爾特·羅素)是加州大學伯克利分校人類相容人工智慧中央(Center for Human-Compatible AI)創始人兼計算機科學專業教授,同時也是人工智慧領域「尺度教科書」《人工智慧:一種現代方法》的作者。這本書的初版早在1994年已經完成,當時就有一個章節,標題是《假如我們成功了呢》,主要討論“假如我們製造出比人類更強盛的人工智慧系統,我們如何永遠把握它們的控制權?”,標題中所說的成功,就是製造出和人類一樣智慧的機器。

這個題目並不是危言聳聽,計算機每秒可以執行的基本運算元目大約是100億次,而人類大腦基本上每秒只能執行大約100次操縱。計算機之間的通訊速度比人類快了10億倍。假如某一天,我們真的能探索出人類認知的奧秘,疊加計算機的超速度,人類的文明岌岌可危。

最可怕的是,GPT-4確實讓我們看到了“智慧”的火花,而我們人類,還沒有做任何嚴厲的預備,假如這一天忽然到來,羅素教授以為“這可能會比核戰爭更嚴峻”。

人工智慧領域有影響力的人正在聯合起來,呼籲更為理性、對人類有益的人工智慧的研發,三週前,Stuart Russell、被稱為人工智慧三巨頭的Geoffrey Hinton、Yoshua Bengio、OpenAI CEO Sam Altman等人聯合簽署了《關於人工智慧風險的宣告》,建議“減輕人工智慧滅絕風險應成為全球優先事項”。幾個月前,Stuart Russell也與Elon Musk等,共同簽署了《暫停超過GPT-4巨型人工智慧研發6個月》的公開信。

  • 1為何這些全世界最瞭解人工智慧的人,多次集體預警人工智慧的風險?科幻中的人類與機器人大戰的場景,真的會變成現實嗎?騰訊科技對話了Stuart Russell教授,和他討論了人工智慧領域最近備受關注的幾件事情。
  • 2為什麼人工智慧領域有影響力的人物,短時間內簽字兩份公然檔案,預警AI風險?它們有什麼區別?為何Russell教授本人在兩個檔案上都簽名了?
  • 3為什麼OpenAI CEO Sam Altman僅簽署了人工智慧風險宣告,而沒有在暫停巨型人工智慧研發公開信上簽字?
  • 4簽署完公開信,馬上又成立了AI公司,馬斯克的念頭真的不單純嗎?
  • 5GPT-4以大量語言資料為基礎進行練習,這種技術路線有什麼潛伏風險?真的會毀滅人類嗎?
  • 6微軟研究團隊研究GPT-4四個月,併發布了火爆全網的論文《通用人工智慧的火花》,他們對GPT-4的運轉機制,畢竟瞭解了多少?

上一篇:2045年人類智... 下一篇:臨時車險是什...
猜你喜歡
熱門閱讀
同類推薦