來源：靜默如初 釋出時間：2024-03-13 13:26

01 對安全感到擔憂

該報告的三位作者花費一年多時間撰寫了這份報告。他們與200多名政府僱員、專家，以及OpenAI、谷歌DeepMind、Anthropic和Meta等前沿人工智慧公司的工作人員進行了交談，分享了其中一些實驗室的員工私下分享的擔憂摘錄，但沒有指明具體的公司。截至目前，OpenAI、谷歌、Meta和Anthropic均對此報道未予置評。

某人工智慧實驗室的研究人員表示，該實驗室存有“對安全態度過於鬆懈”的問題。另有受調查者表示，擔心他們的實驗室沒有足夠的控制措施，來防止通用人工智慧脫離他們的控制。還有一些人表達了對網路安全的擔憂。根據一些技術人員的私下判斷，許多前沿人工智慧實驗室的安全措施不足以抵禦老練的攻擊者的持續IP滲透活動。鑑於目前前沿實驗室的安全狀況，如果沒有美國政府的直接支援，這種攻擊很可能會成功。報告還稱，目前人工智慧系統尚未給人類帶來災難性後果的事實，並不能證明未來更大的系統是安全的。

在過去12個月裡，全球許多政府已意識到先進人工智慧系統帶來的風險。去年11月，英國主辦了一場人工智慧安全峰會，世界領導人承諾共同努力為該技術制定國際規範。去年10月，美國總統拜登釋出了一項行政命令，從國會層面為人工智慧實驗室制定安全標準。然而，美國的人工智慧法律尚未透過，意味著人工智慧實驗室在訓練先進模型時仍沒有法律限制。

02 監管企業訓練模型

這份名為《提高高階人工智慧安全與安保的行動方案》的最終檔案，建議採取一系列全面和前所未有的政策行動。如果這些行動得以實施，將從根本上改變人工智慧產業。該報告建議，美國國會應該把使用超過一定算力閾值訓練人工智慧模型的行為定為非法。該報告建議，這一閾值應由新成立的聯邦人工智慧機構設定，該機構可以將該閾值設定為略高於訓練當前尖端模型（如OpenAI的GPT-4和谷歌的Gemini）的算力水平。

報告補充稱，新設立的人工智慧機構應該要求處於該行業“前沿”的人工智慧公司獲得政府許可，以在某個較低的閾值之上訓練和部署新模型。報告稱，當局還應“緊急”考慮禁止釋出強大人工智慧模型的“權重”或內部運作方式。例如，在開源許可下發布，違反規定可能會面臨牢獄之災。報告建議，政府應進一步加強對人工智慧晶片製造和出口的控制，並將聯邦資金投入到讓先進人工智慧更安全的“聯合”研究當中。

公開記錄顯示，這份報告由美國國務院於2022年11月委託撰寫，是價值25萬美元的聯邦合同的一部分。它由四人組成的公司Gladstone AI撰寫，該公司專門為政府僱員提供人工智慧技術簡報。（行動計劃的部分內容建議政府大力投資，讓官員瞭解人工智慧系統的技術基礎，以便他們能夠更好地瞭解將會面對的風險。）這份247頁的報告於2月26日提交給了美國國務院。該報告的第一頁寫道：這些建議“並不反映美國國務院或美國政府的觀點”。截至目前，美國國務院對此報道未予置評。

該報告中提出的許多建議在以前不可想象的。人工智慧領域近年來出現了一系列令人眼花繚亂的重大發展，導致許多觀察人士重新調整了他們對該技術的立場。2022年11月釋出的聊天機器人ChatGPT，讓整個社會首次看到人工智慧的發展速度，導致許多人質疑未來的人工智慧是否可能對人類構成生存風險。

此後，具有更多功能的新工具一直在快速釋出。在世界各國政府討論如何最好地監管人工智慧之際，全球的大型科技公司們一直在快速建設基礎設施，訓練下一代更強大的系統--在某些情況下，計劃使用10倍或100倍以上的算力。與此同時，人工智慧政策研究所（AI Policy Institute）最近的民調顯示，超過80%的美國公眾認為人工智慧可能會意外引發災難性事件，77%的受調查者認為政府應該採取更多措施來監管人工智慧。

報告指出，禁止訓練超過一定閾值的高階人工智慧系統，可能會“緩和所有人工智慧開發者之間的競爭態勢”，並有助於降低晶片行業開發新一代晶片的速度。報告提出，隨著時間的推移，一旦尖端模型的安全性證據得到充分證明，聯邦人工智慧機構可以提高閾值並允許訓練更先進的人工智慧系統；如果在現有模型中發現危險功能，該機構還可以降低安全閾值。

這項提議可能最終不會被政府採用。美國戰略與國際研究中心瓦德瓦尼人工智慧和先進技術中心（the Wadhwani Center for AI and Advanced Technologies at the Center for Strategic and International Studies）主任格雷格·艾倫（Greg Allen）在回應該報告關於禁止超過一定閾值的人工智慧訓練的建議時表示：“我認為這項建議極不可能被美國政府採納。”他指出，美國政府目前的人工智慧政策是設定算力閾值，超過該閾值需滿足額外的透明度監控和監管要求。“如果沒有某種外部衝擊，我認為他們不太可能改變這種做法，”艾倫說。

Gladstone AI的執行長和首席技術官傑雷米·哈里斯（Jeremie Harris）和愛德華·哈里斯（Edouard Harris），自2021年以來一直在向美國政府通報人工智慧的風險。哈里斯兄弟表示，參加了許多早期簡報會的政府官員都認為，人工智慧的風險很大，但告訴他們處理這些風險的責任落在了不同的團隊或部門身上。哈里斯兄弟表示，2021年末，Gladstone AI終於找到了負責應對人工智慧風險的政府部門：美國國務院國際安全與防擴散局。該機構內的小組有一項任務，即應對新興技術帶來的風險，包括化學和生物武器以及放射性和核風險。在傑雷米和Gladstone AI時任執行長馬克·比爾（Mark Beall）介紹情況後，該局於2022年10月釋出了一份報告招標，要求提供資訊，把人工智慧新增到該局監控的風險名單中。Gladstone AI團隊最終贏得了這份合同，週一釋出的報告就是最終的結果。

03 兩類不同的風險

該報告關注兩類不同的風險。第一類風險稱為“武器化風險”，即“此類系統可能被用於設計甚至執行災難性的生物、化學或網路攻擊，或在群體機器人技術中實現前所未有的武器化應用。”第二類風險稱為“失控”風險，即先進的人工智慧系統可能會玩轉其創造者。報告稱：“有理由相信，如果使用當前技術開發它們，它們可能是不可控的，並且可能會在預設情況下對人類產生敵意。”

報告稱，人工智慧行業的“競爭態勢”加劇了這兩類風險。第一家實現通用人工智慧技術的公司可能會獲得大部分經濟回報，這可能刺激企業將速度置於安全之上。報告稱：“前沿人工智慧實驗室面臨著，儘快擴大其人工智慧系統規模強烈而直接的激勵，但他們不會對未直接帶來經濟效益的安全或安保措施進行投資。”

Gladstone AI的報告將硬體--特別是目前用於訓練人工智慧系統的高階計算機晶片--定為提升人工智慧能力的瓶頸技術。報告認為，對這種硬體的擴散進行監管，可能是“保護全球長期安全免受人工智慧威脅的最重要要求。”它表示，政府應該探索將晶片出口許可證與監控晶片是否被用於大型人工智慧訓練的片上技術（on-chip technologies）掛鉤，以此來執行反對訓練大於GPT-4的人工智慧系統的擬議規則。不過報告也指出，任何干預都需要考慮到過度監管可能會削弱美國影響供應鏈的能力。

該報告還提出了一種可能性，即宇宙的物理界限最終可能不會站在試圖透過晶片阻止高階人工智慧擴散的人一邊。“隨著人工智慧演算法的不斷改進，越來越多的人工智慧功能可能會需要更少的算力。根據這一趨勢的發展程度，透過集中算力來緩解高階人工智慧擴散最終可能變得不切實際。”為了解釋這種可能性，該報告認為，新成立的聯邦人工智慧機構可能會探索阻止發表提高演算法效率的研究，但這種作法可能會損害美國人工智慧行業。

哈里斯兄弟在與行業人士的交談中認識到，他們的建議會讓人工智慧行業的許多人感到有點“多餘”。他們預計，禁止開源高階人工智慧模型權重的建議不會受到歡迎。Gladstone AI的首席技術官愛德華說:“開源通常是一個很好的現象，總體來說對世界有很大的好處。這是一個極具挑戰性的建議，我們花了很多時間來尋找像這樣的建議措施。”他表示，任何禁止超過一定規模的開源模型的提議，都需要考慮到美國法律的適用範圍有限這一事實。“這是否意味著開源社群將轉移到歐洲？”他說，“鑑於這是一個很大的世界，你多少要考慮到這一點。”

儘管存在挑戰，但該報告的作者表示，如果使用者能夠接觸到模型權重，他們對目前移除人工智慧模型上的安全護欄有多容易感到不安。愛德華說:“如果你大量使用開源模型，即使它看起來很安全，但在未來仍可能很危險。”他補充說，開源模型的決定是不可逆轉的。“到那時，你所能做的就是承受損失。”

在創辦Gladstone AI之前，哈里斯兄弟曾經營著一家人工智慧公司，得到矽谷創業孵化器YCombinator的支援。當時，OpenAI的執行長山姆·奧特曼（Sam Altman）還在執掌該孵化器的帥印。哈里斯兄弟表示：“雖然他們也是人工智慧產業的開拓者，但如果建議被採用，將會顛覆整個行業的利益。我們目前的發展軌跡，似乎非常有可能創造出強大的系統，要麼被災難性地武器化，要麼無法控制。最糟糕的情況之一是發生災難性事件，所有的人工智慧研究都將終止，而我們無法獲得這項技術的巨大好處。”（編譯/無忌）