這是AI技術上至今難解的一個題目，《連線》在 2018年就曾指出，儘管沒有記錄在案的其他對抗性攻擊（研究職員的概念驗證攻擊除外），但智慧電子產品和自動駕駛等系統輕易受到影響這一點“幾乎沒有爭議”。到2022年， 《紐約時報》等報紙表示擔心，跟著基於大型語言模型的機器人的使用數目持續增長，使用者對機器人輸出的過於信任可能會導致題目。
Q1：大模型的“大”詳細指什麼？
張鵬: 大模型的大，首先肯定是指它的規模大，一般來說衡量預練習模型的規模是用它的引數目。類似數學函式中有多少的變數，但是它不是變數，是變數前的權重係數。它實際上是對權重係數數目的衡量。所以1750億的引數目是指整個函數里麵包含有1750億個係數，這種係數引數會與你所有輸入的係數進行一定的數學運算，終極把它轉換成結果輸出，所以預練習模型的大，實在就是指的這個。一般來說億級以上的模型就已經算比較大，當然我們現在指的大模型一般來說也都是在十億規模以上，就是一個Billion以上。
Q2: 引數規模大是不是能夠做出通用型特徵的重要條件？
張鵬: 是的。“大”是帶來能力突破非常樞紐的因素，研究界經由多年的研究後發現一種現象，當模型的規模大到一定程度後，一般來以為是在千億規模（超過1000億的引數規模）之後，模型的能力尤其是通用能力會快速湧現，小模型根本不具備這些能力，而大模型就會表現得比較顯著，這非常重要。
但是從工業應用方面來講，引數量變大，意味著應用的時候需要的算力本錢就會進步。但是也要看你怎樣去使用；假如使用大模型作為基礎，自研專有模型，可能本錢也不低，但是比完全自研成本低；假如使用大模型的研發廠商提供的現成平臺，本錢實在會降低，由於它不需要自己去研發模型。
Q3: 引數目達到了千億級別，ChatGPT在聊天中可以反映人類的道德準則而且會主動承認錯誤，但也會“一本正經的胡說八道”，這是為什麼？
張鵬: 實在基於早期的基座大模型去做內容的天生，也會泛起“一本正經的胡說八道”，當ChatGPT泛起後，會發現題目實際上已經減少許多，但沒有徹底解決，“一本正經的胡說八道”的現象，學名叫：幻覺性。對於這種生成式的模型，這是通病。當然為什麼會產生幻覺性？目前也還在研究，現在ChatGPT的表現已經非常好，比如說它的價值觀、回答的邏輯性以及對於題目正反面，全面的平衡考量，是基於人類反饋的強化學習（RLHF)練習得到的更好的表達。
為什麼會產生“幻覺性”？目前還沒有定論，可能僅有技術上的預測或者研究的初步成果。首先，可能在練習資料當中會有噪聲。模型學習後並不能分辨出準確和錯誤或者哪些質量高、質量低。所以它也會留在模型中導致泛起資料攪渾的情況。第二，是模型本身存在一定的隨機性，所以在天生內容時實際上解碼策略帶來隨機性會使得它有一定比較小的機率天生不準確的東西。第三，可能是模型本身是統計學習的模型，固然它用高維的統計，但也會導致模型會對練習資料中不存在的概念，進行強行捏造，從人類角度看起來就似乎幻覺一樣，但是模型從它的統計邏輯角度來看可能以為是準確的，所以導致模型進行錯誤方向上的外推或者泛化。
02
ChatGPT的流暢對話來自於
預練習模型
計算機之父及人工智慧理論前驅艾倫·圖靈在1950年就做過如下假設，在一臺機器擁有無窮的計算力與儲存前提的情況下，“計算機是否能夠思索”就並非一個技術層面的題目，而是一個哲學題目，而解決它的關鍵在於如何定義“思索”。
因此，他將“計算機是否能夠思索”這個題目轉換成了“計算機是否能夠模仿人類，”並由此提出瞭如今被稱為“圖靈測試”的思維實驗，他以為，假如人工智慧能夠成功模仿並騙過提問者，這證實計算機能夠思索。
我們問ChatGPT，你是否通過了圖靈測試，它自己回答：“我並沒有透過圖靈測試”。然而，許多人都更堅持以為，它已經通過了圖靈測試，它回答題目的流暢度，已經讓你常常健忘自己在和一個機器人交談。ChatGPT為何更像人？
Q4：過去我們接觸到的對話式AI，好比客服機器人，體驗上有些相似，但是為何ChatGPT對話更像真人？
張鵬:關鍵點在於核心技術。過去客服機器人或者對話聊天機器人，可能基於上一代的人工智慧技術，採用類似檢索式的問答或者對話。ChatGPT恰是由GPT-3.5架構的大型語言模型（LLM）所支援的，它背後的引數目超過千億，透過大量的文字資料進行練習後形成模型，當給到模型一段話或者文字，甚至不用完整語句，它就可以去猜測這段話後的下一個詞或者字是什麼，並能兼顧考慮到上下文的邏輯準確，這種技術使得回答的內容、與你的輸入的風格、語調等等，一致性非常強。以類人的方式來繼承對話或者題目的回答，比擬以前傳統的AI問答和客服更像真人。
Q5：有公司也在用人工智慧技術攻克多語言翻譯，技術本質和ChatGPT有什麼不同？
張鵬: 翻譯也會用到人工智慧深度學習的技術，深度學習與預練習模型也有很深的關係。但以往的做法會針對翻譯的任務，設計專門的模型來做翻譯，我們看到的，可能是從一段英文，對應翻譯出一段中文。但是ChatGPT使用的是通用模型，它可以根據上下文或者前文去猜測後面的文字，這與人類日常交流當中的表述習慣非常類似，但是與翻譯的體驗感是不一樣的。
ChatGPT 因為模型通用性非常強，可以把它拿來做特定任務的資料集進行調整。好比讓它能夠回答題目或者天生詩詞這類創意性的內容。所以，背後的大模型的技術泛用性更強，天生的內容會更豐碩，流暢度、邏輯性都比傳統的針對特定任務（好比翻譯）的模型效果更好。另外一方面，預練習模型GPT可以對問答或者對話過程中的內容實現快速的學習和糾正，所以它能體現出更好的智慧程度。
03
大規模預練習技術仍處早期探索階段
人工智慧公司還需耐心打磨
當ChatGPT帶來的新鮮勁兒過後，大家對它的“一本正經”的胡說八道進步了警惕，尤其是經常出現邏輯錯誤和做錯數學題。谷歌的Bard被寄予了厚望，然而，Bard僅僅回答了一個題目，就已經被發現了常識性錯誤，釋出當天，谷歌的市值也跌去了1000億美元。Bard真的比ChatGPT差嗎？模型之間的好壞，畢竟由什麼決定？
Q6：谷歌的Bard首秀“翻車”，是否意味著它比ChatGPT差？
個人以為谷歌這類公司的技術儲備應該非常雄厚，我相信在這個領域，谷歌不是落後者，它擁有許多領先的技術，好比預練習模型，全球現在公認的最大的預練習模型PaLM就屬於谷歌，它的效果是碾壓很多其他模型的。但因為谷歌也會基於技術的安全性、倫理、道德風險等等題目，並沒有把技術過早的推出或者更大範圍地將產品試用擴散。這次火速上線Bard屬於被競爭對手逼迫得有些緊張，所以可能有點倉促，應對的並不是太好。但並不能說明Bard一定比ChatGPT差。
Q7：我們看到Transformer模型出來之後，我國有些AI公司基於BERT模型在做後續的開發，這與GPT模型是否有優劣之分，或代際之分？
張鵬: Bert和GPT模型都是基於Transformer，Tranformer是一種預練習模型，它是谷歌提出的一種技術。但是Bert和ChatGPT在練習方式上有差別。總體可以簡樸理解為BERT這類模型更適合於去做文字的理解。ChatGPT模型更傾向於去做自然語言的天生。
大規模預練習技術也是最近幾年才真正見到比較好的效果，對於它的商業化應用探索還處較早階段，所以海內可能並沒有能夠像OpenAI這樣做出現象級的應用。但海內的許多機構實在也在研究自主大模型，這是一條中國要走的立異之路。
另外我們需要承認，OpenAI背後的預練習模型技術本身有很大的上風，哪怕是自己用類似的技術，好比我們自研的GLM-130B這樣的大模型技術作為底座，開發類似的應用，也可以做出來，但仍是需要進一步最佳化，實現技術上的同步。
其次，ChatGPT的火爆背後，也是技術+產品+市場的綜合因素的成功。它所開發的場景——聊天或者問答，受眾的範圍非常廣，可以快速地擴充套件認知。
Q8：有專家以為ChatGPT，它的底層實在仍舊是基於Transformer模型，技術創新很少。但是，我們看到市場上基於Transformer做的模型不止ChatGPT一個，但是隻有ChatGPT表現如斯精彩，這是為什麼？
張鵬: 可以這樣理解，但也需要綜合來看。首先需要界定什麼叫立異？是技術創新，是底層原理立異，是工程立異，仍是應用立異或者是純粹的模式立異？可能每一種立異的特徵本身是不同的。固然預練習模型Transformer技術是谷歌提出的，谷歌也在應用與研究過程當中取得了很好的效果，但OpenAI在GPT-3後一系列的過程實在也沒有太多獨創或者是原創的成果，都是基於前人的研究探索更多的路徑，將技術組合和解決工程困難，以及本錢題目綜合處理，找出一個很好的實現路徑，終極泛起ChatGPT，所以ChatGPT是集合底層技術的工程、模式以及產品等立異的成功應用。
04
ChatGPT迭代了搜尋引擎的體驗，
有些行業將迎來全新挑戰
Gmail的創始人Paul Buchheit2月2日在推特上表示，ChatGPT將像搜尋引擎殺死黃頁一樣摧毀谷歌。隨後不久，Paul Buchheit又發推，繼承增補“谷歌可能只需要一兩年時間就會被徹底顛覆。AI將會消滅搜尋引擎的結果頁面，即使後者跟上了人工智慧的發展，也將導致其業務中最能賺錢的部門大不如前！” 在哪個行業最先被ChatGPT顛覆的討論中，搜尋引擎首當其衝。
Q9: 搜尋引擎會被顛覆嗎？
張鵬: 首先我們可以從搜尋引擎的本質和ChatGPT的本質來進行區分。搜尋引擎的核心使命是使用者去獲取所需的資訊，它的工作方式是被動方式，使用者必需先將自己需要查詢的內容輸入搜尋引擎，從而返回相關的資訊，過去將近20年，搜尋引擎技術的發展目標主要是進步使用者查詢和反饋結果之間的相關性。對於簡樸的查詢，搜尋引擎可以處理的非常好。但輕微複雜的語義或者說包含邏輯的查詢，搜尋引擎是做不太好的。
而ChatGPT解決的不是被搜尋的資訊與使用者查詢之間相似度的題目，而是一種從自然語言角度來看，怎麼來解決上下文的一致性、流暢性和邏輯性的題目，是以另外一種視角來看待資訊獲取。所以它是一種全新的互動方式，更便捷、更友好，能夠匡助使用者直接解決問題，好比以寫題目的方式去做文章總結、寫文件、程式設計等等，相當於在搜尋引擎的基礎上又前進了一步。根據統計數字，2023年1月份ChatGPT全球訪問量已經達到六億多次，一個月內就達到了一億使用者，這對於傳統搜尋引擎來講是巨大的挑戰。
這種使用者訪問量和使用者增長速度已經超過了以往的技術革新的發展速度。確實是有可能會影響到搜尋引擎的歷史地位，但需要多久的時間？還需要等待ChatGPT的迭代速度以及能否解決它自身的缺陷，好比幻覺性的題目。
Q10：Model as a Service（MaaS）未來是否會替換SaaS？
張鵬: MaaS實在是一種全新的技術和市場理念，是基於當前AI大模型技術發展到一定水平之後一種新的技術應用形式。MaaS的目標實在是將模型的各項能力進行簡樸通用的封裝，以提供API介面的方式向用戶提供AI賦能的能力。一般來說使用者需要在MasS的基礎上做二次開發和系統功能整合。但一般情況下SaaS是指，在線上透過雲服務的方式向用戶提供業務和功能性比較強的軟體服務，所以重點是在於軟體功能和使用者業務的滿意性。一般戶可以直接使用，不需要做開發和整合。從本質上來說MaaS和SaaS處於資訊服務生態的不同層次，理論上來看MaaS的泛起是對SaaS服務的有益增補，可以讓SAAS服務的開發成本和週期降低，同時智慧水平更高。
Q11: 從工業上看中國資料標註能力很強，但資料質量上存在差距，差距在哪？
張鵬: 我覺得資料質量可能不是最樞紐的題目。我相信中國市場的資料體量足夠大，資料質量也沒有想象中那麼嚴峻。只要願意付出相應的本錢，資料質量也不是不能解決的題目。反而像資料歸屬、資料安全、資料隱私等是重點題目。尤其是資料歸屬和安全題目，有許多實際案例。AIGC繪畫前段時間被熱捧，但是AI天生的繪畫，實在使用了許多人類畫家、畫師創作的圖片進行練習，但在版權上沒有進行確認。所以在利用資料資源的過程當中，除了資料的標註加工，在這個過程實在大眾應該把注意力放在資料服務方面。包括資料歸屬安全的題目。如何在法律、道德等層面對事情進行明確的劃分和治理。好比不得不使用未經授權的非公然的資料；還好比對於大量的社群或者志願者提供資料可能需要有一定的信用體系去保證。
Q12: 我國的AI企業，未來最靠譜的演進路線應該是怎樣？
張鵬：人工智慧發展的三大要素：演算法、資料和算力。但實在並不意味著每個企業都要投入巨大的算力本錢去做模型的練習和部署。實在 “大”模型，這個“大”，實在就是但願能集中使用算力。大企業有能力投入算力資源，構建出模型，並做出AI平臺。中小企業實在可以對平臺按照用量付費，算力投入本錢及研發投入時間都會大大減少。這實在可以被稱為AI發電廠的一種模式。另外，AI大模型本身的壓縮和最佳化也是重要的研究方向。跟著晶片技術、大模型技術的不斷發展，本錢會不斷降低，效率會不斷進步。
至於演進路線，首先需要承認我們落後於人，要向最進步前輩的方向去追趕。實在不用太糾結於某些地方被限制，這都是大家都知道的事情，總會有解決辦法。中國不缺人才，不斷地努力，肯定有追上的機會。別人已經做出了現成的東西，我們可以去學習，但是在這個過程當中不能完全照搬他人經驗，別人也未必會把經驗全部告訴你，所以這個過程當中還需要賦予自己的思索、設法與立異。
