3月23日晚上，百度文心一言邀請內測一週後，李彥宏和品玩，極客公園以及CSDN一起聊了一個小時天。
對於文心一言快速邀請內測背後的考量，與ChatGPT和GPT-4等的比較，未來國內市場的競爭，以及這場技術革命給人類帶來的機會和挑戰，他都給出了自己的答案。
以下為經簡單收拾整頓的聊天實錄。
誕生
“我當時拍了個板，3月份一定要內測”
極客公園：Robin好，非常高興見到你，其實百度文心一言作為中國第一個類似於ChatGPT這樣型別的產品，本身是情理之中，可能速度有點意料之外，我聽到外界比較感興趣一個傳說百度經歷過大概40天衝刺，能夠迅速Deliver產品出來，這個讓大家很吃驚的，我好奇40天經歷什麼，衝刺怎麼衝，給我們講講誕生過程。
李彥宏：40天這個說法我是沒有聽說過的。百度做人工智慧十幾年，我們做大語言模型也有幾年的時間，從2019年文心1.0版本釋出，到現在將近四年時間，這期間我們釋出了文心1.0、2.0、3.0。去年11月30號ChatGPT釋出，我們試用了一下之後確實有驚豔的感覺，與以前的大模型相比，尤其在內容生成方面有大的進步，所以從那個時候開始內部確實壓力比以前更大。
中國產業環境裡，包括我接觸到很多人都在問，百度有嗎，你們要不要做一個類似的東西，大家很自然而然地往這個方向想。百度這些年一直在做語言大模型，確實很重視，從2019年到現在，我個人花了不少時間和團隊討論大模型到底會向什麼方向發展，會有什麼樣應用，有多大潛力，應該投入多少資源。到最後越來越覺得我們需要儘快做一個對標ChatGPT的大語言模型。
所以確實在邀請內測之前兩個月，內部工作壓力蠻大的，大家日夜奮戰，也有很強的危機感。剛剛做出來的時候，內部看效果確實不行，我們雖然看到它能以很快的速度提升，但是不確定什麼時候可以邀請內測。內部也不斷討論到底什麼時候可以。
我當時拍了個板，3月份一定要內測。團隊沒有那麼有決心信念，擔心3月份做不出來。我這樣做確實是有意給團隊一些壓力，讓他們能夠動作更快一點，提升的速度更快一點。
所以確實最後兩個月比較緊張，但是我仍是比較滿意。一開始我們公佈3月份要內測的時候，團隊的理解是3月31號。後來我跟他們講3月17號我要去參加亞布力論壇，那個時候文心一言已經滿城風雨，關注度非常高，如果我到亞布力的時候文心一言沒有內測，我會不知道該說什麼，別人關注都是文心一言，我去講別的，人家肯定覺得很虛偽。包括一些很好的朋友，問起來的話什麼都不說是不行的，說一些保密的東西也不合適，畢竟我們也是上市公司，投資人也對文心一言很關心，跟一部分人說跟不跟另外一部分人說，就是選擇性披露，這是不行的，所以2月底的時候我就說3月16號邀請內測好了。確實到最後這個階段有一點趕，但3月16號的時候我對文心一言已經達到的水準仍是比較滿意的。
“市場需求這麼旺盛情況下，誰先做出來仍是意義非常大的”
品玩：Robin特別高興有這個機會跟您交流文心一言事情。您本人、團隊最近一直強調百度是全球大廠裡第一個做出生成式AI模型的公司。外界對創業公司和大廠做同樣的大模型這件事的包容度是不同的，您怎麼看待大廠裡第一個內測大模型這件事的意義，為什麼它對百度是重要的，以及大廠在這裡邊有哪些東西是它的優勢？
李彥宏：百度文心一言內測之後遇到了一些批評的聲音，算是我預料之中。我在新聞釋出會至少說過三遍文心一言還不完美，選擇現在這個時間邀請內測，最主要的原因是市場需求旺盛。ChatGPT剛剛釋出的時候也是遇到很多批評，所謂“一本正經胡說八道”，很多人覺得無法接受。我記得程式設計師社群Stack OverFlow明確禁止在社群釋出透過ChatGPT生成的內容，因為ChatGPT錯誤率太高了，很容易誤導使用者。所以文心一言不管什麼時候出來，都不可能是完美的，只有出來之後才有機會更快地去迭代，去提升。
百度作為全球大廠中第一個做出來意義很大，我覺得很驕傲，因為市場需求太旺盛了，無數的人，過去不怎麼聯絡或者行業跟我隔得很遠的人現在都在問，我們怎麼能跟百度合作，怎麼儘早試用。
所以在中國市場上極早做出來一個生成式大語言模型意義是非常大的。其他的大廠包括美國的谷歌、Facebook、Amazon都沒有發出來，我覺得有兩種原因，一個原因是他們之前沒有那麼重視這件事，生成式AI和過去搜索引擎常用的判別式AI是不太一樣的，使用的演算法、理念甚至是評判質量好壞的標準都不太一樣。所以生成式AI不是大廠之前很重視的方向，等到ChatGPT出來之後，它再著急的話確實需要時間的，不是一時半會兒能夠做的跟OpenAI做的一樣好。
當客戶把需求提給我們之後，我們有針對性地進行最佳化和迭代，很快就可以變得非常有用。對我們來說如果客戶不願意為這個付費，這個產品或者這個技術對我們也沒有什麼價值，客戶如果願意付費的話，無論多不完美它自己就證明了它的價值，所以我覺得市場需求這麼旺盛情況下，誰先做出來仍是意義非常大的。當你作為一個大廠第二個做出來了，很像谷歌在美國遭遇一樣，其實谷歌的人工智慧技術我覺得基礎是非常好的，這麼多年AI上花的錢應該可能不輸於任何一個全球高科技公司。在這種情況下如果出來的東西仍是有瑕疵的，明顯不如一個創業公司的話，頂的壓力是很大的。作為市場上第二個出來，公眾或者說客戶、媒體對你的要求完全不一樣了，所以從這個意義講我也認為第一個出來非常重要。
競爭
“別人我們管不了，我們只管自己就好了”
極客公園：拿今天的文心一言和已經經過幾個月資料飛輪迴圈的ChatGPT跨時空比有些不公平的，對公眾來講大家仍是很期望有一個比較能夠理解的對標，比如說讓你定義下，今天的文心一言相當於什麼時候的ChatGPT，甚至在技術上是多少分，或者相當於什麼時候？有沒有一個比較具像讓大家理解這麼一個對標，追問一句有差距但是往上追趕，真正挑戰到底是在算力、資料、仍是在模型更創新方式上，你會怎麼看？
李彥宏：文心一言邀請內測之後，我看到網上各種各樣的評測、對比，都是在拿文心一言跟最提高前輩的大模型做對比。不僅會對比GPT-3.5版本，也會對比GPT-4版本。GPT-4在文心一言邀請內測之前一天釋出，釋出之後大家在網上評測、對比都是說文心一言和GPT-4相比有什麼問題，或者熟優熟劣。像文心一言的多模態功能，用文字生成圖片，我看好多人把這個功能跟Midjourney對比，大家會在任何一個方向上用市面上最提高前輩的產品跟百度文心一言進行比對。其實我覺得也無所謂公平不公平，大家這麼關注，有這麼高期望，是我不斷提升的動力。我也不斷在講文心一言不夠完美，事實上如果全面來評測的話，文心一言確實也不如現在最好的ChatGPT版本，但是差距不是很大。所謂不是很大，可能就是一兩個月的差別。講一個我們內部的Datapoint，大約就是兩個月之前，我們內部做過一次評測，用文心一言跟當時的ChatGPT做對比，我們大約落後那個時候的ChatGPT 40分左右，我們分析那些落後於它的地方，感覺差不多用一個多月時間就可以把這些問題解決。
過一個月之後解決的差不多了，再去評測一下ChatGPT和文心一言，發現我們不僅沒有趕上ChatGPT，反而差距拉大了。所以當時的團隊也很焦慮，就覺得說我們做了半天反而越來越不如人家了。
極客公園：為什麼？是資料原因仍是其他原因？
李彥宏：就是ChatGPT本身也在不斷進級，能力也在快速提升，那一個月的時間，文心一言可能提升速度不慢，但ChatGPT可能中間有一次大進級，導致它能力有一次質的飛躍。再仔細分析差距之後，覺得說再給一個月還能夠追的七七八八。按照團隊現在的分析，我們水平差不多是ChatGPT今年1月份的水平。但是大家早就忘了1月份它是什麼樣子，今天大家已經習慣GPT-4，GPT-4這個技術跟我們只差一天出來，是一個其他大廠也很難去拿出一個東西跟它比的技術，所以我覺得沒關係，比就比，對我來說只要自己提升足夠快，能夠把過去做不到的東西一步步做到，尤其有越來越多的使用者給我們這些反饋的時候，我仍是逐漸看到不少亮點，不少我們已經做的比現在的ChatGPT要好的方向，當然更多方向不如它，我覺得假以時日我們都是可以彌補的。
極客公園：越多的人在用，哪怕大家吐槽，有追上更大可能。
李彥宏：這也是當初急著邀請內測的重要原因。
極客公園：大家一邊罵一邊用也是有意義。
李彥宏：對，別人我們管不了，我們只管自己就好了。
“被裹挾不見得是壞事”
品玩：您提到著急邀請內測有被裹挾的成分，那麼完成邀請內測就是一個分水嶺，前階段可能被"裹挾"，畢竟對方先做了出來，那麼接下來都到真實環境裡來比拼，是不是可以不用完全繼續被"裹挾"了？
李彥宏：我覺得“裹挾”不見得是壞事，當時沒有外部壓力，我們有可能不會這麼快內測這樣水平的產品；邀請內測之後我也不覺得不再會被“裹挾”，恰恰相反每天收到的使用者反饋比以前多很多很多倍，使用者反饋當中1/3說好的，2/3是說不好的，說不好的使用者反饋實際上也是一種壓力，不管公開罵仍是透過郵件、透過我們設計的渠道來進行反饋，每天看到都是各種各樣的問題，遇到問題，去解決問題，這就是創新過程，自然而然會讓我們迭代的速度越來越快，而這個東西把它說成裹挾也可以，但我更希望說成反饋，我一直認為所有的創新都是靠反饋驅動的，有反饋就可以不斷去創新，反饋越多創新速度越快，沒有反饋天天憋在自己屋裡頭自己幹，那其實沒有出路的。
品玩：中國公司的大語言模型，和美國公司的大語言模型，未來技術上會有區分嗎？
李彥宏：仍是會有一些不一樣，中國有自己特色的語言和文化，比如說我剛才也講文心一言有些地方做的比ChatGPT好，比如貼吧裡邊那些梗，你去問文心一言，它基本上回答對，97%、98%的準確率，ChatGPT會是30%左右準確率，我估計它在這方面的訓練語料少一些，百度在這方面多一些。再舉個例子，白話文翻譯成文言文，或者把文言文翻譯成白話文，這個也是我們擅長的，明顯比它要好。有很多這些東西，包括再往後我們的客戶要求我們做定向調優時候，資料進來之後，就能夠在客戶的領域做的更加精細化，更加高準確率。因為有些場景不能夠容忍這麼高的錯誤率，所以我們一定會解決那些問題。時間長了之後，還會覺得這兩個大模型會有比較多的不同之處，雖然基礎技術是比較類似。
極客公園：創業者尤其是技術型創業者，在觀察百度文心一言邀請內測時，問到文心一言背後的大模型跟OpenAI是完全一樣的技術路線，仍是有不同選擇？未來大模型所謂的煉丹，可能有技術上的分叉，創業者在選擇跟隨哪個平臺做創新時，應該關注哪些東西？應該如何選擇？技術上是不是還會有新的變數？
李彥宏：我們用的技術有一些不同之處，最主要的不同一個是檢索增強，一個是知識增強。檢索增強是，由於很容易出現"一本正經地胡說八道"，我們本身又擁有非常強大的，做了20多年，很高市場佔有率的檢索系統，搜尋語境下人們對錯誤容忍度很低。當問的問題有相對比較確定性答案的時候，我們透過檢索增強就能夠比較成功避免“一本正經地胡說八道”。所以3月16日的新聞釋出會demo用的第一個的例子，《三體》作者是哪裡人，我測了好多遍，ChatGPT回答都是錯的，我們的每一次回答都是對的，透過檢索增強，文心一言首先要理解《三體》作者是誰？哪裡人？是什麼意思？再問籍貫，這些都弄對，以後才回答得出來。
第二個不同之處叫做知識增強，這是百度對於大模型領域學術上的貢獻。ChatGPT裡的T叫做Transformer，是谷歌發明的，不是OpenAI發明的。ChatGPT走到這樣一個地位，不是自己發明所有的東西，實際上也吸取了很多前人的經驗，transformer是對大模型的一個新的推進。百度對於大模型的貢獻就是知識增強，我們做搜尋的過程中積累了一個非常大規模的知識圖譜，應該是全球規模最大的知識圖譜，有5500億對事實。人對物理世界的理解，如果沉澱成知識，用一個一個事實表達出來，成立一個知識庫，成立一個知識圖譜，再把它融合進文心一言，這就使得自身進化的速度會更快一些，因為藉助了一些其他的工具，這也是OpenAI作為創業公司相對來說不具備的資源或優勢。
“具體公佈引數，意義不大”
極客公園：剛才聊到百度在通用大模型上有加強，做了一些知識增強，即是做了一些額外加強，這也是百度在大模型上面的一種創新。不知道能不能公佈百度通用大模型是一個什麼量級的引數？也是千億量級資料的訓練過程嗎？
李彥宏：肯定是千億量級。這是一個門檻，如果不外千億不會出現智慧湧現，這是過去實驗都證明過的。但是具體是多少引數，公佈意義不大，過了千億之後，不是萬億量級引數一定比千億效果要好。GPT-4出來之前，我看好多媒體猜測是萬億量級引數，十萬億量級，方向就錯了。大模型不是靠提升引數規模，是在其他方面進行提升，不用太糾結。
極客公園：那你覺得創業者在選擇技術路徑的時候，背後的在確定性問題上做增強，對於創業團隊或者商業公司來講是非常重要的地方嗎？
李彥宏：我認為在很多場景下都非常重要。有些場景下可能說錯了也無所謂，更關注的是創造性、說話的語氣、精彩程度。但像保險理賠，客戶打進來電話說出什麼事故要賠，回答是錯的，這個事就大了，不可用。可能在一半以上的應用場景當中，對於錯誤的容忍程度都是很低的。當有知識圖譜和檢索增強的時候，越到具體的行業應用，越會顯示出它本身的優勢。
技術
“不知道，跑出來了再去研究”
品玩：您剛才提到了理論和工程的關係。我們也知道無論是OpenAI做ChatGPT，仍是文心一言也好，本質上做的是工程師的事情，本身對基礎科技的投入不是很多。這個過程有人稱之“大型的暴力美學實驗”，因為投入大量的資金、算力等去做。前不久一個AI領域科學家跟我講，他覺得好幻滅，大家都參與這樣實驗，像煉丹一樣。你不知道什麼時間哪次怎樣的努力導致出現變化和躍遷，到底什麼原因導致一個大模型能夠走出來、跑出來，這個關鍵到底是在哪個環節上？這個爆發的時刻在過去幾個月的經驗當中，你覺得哪個月是最關鍵的？
李彥宏：簡單講就是不知道，我也不知道哪個月最關鍵。這麼做了之後，溘然能力就具備了。但是我相信未來人類一定會弄清楚背後的理論基礎。很多時候就是工程先做出來了，然後再慢慢研究，這是空氣動力學，原則等東西慢慢都出來了。我們從小到大正規教育出來的，太習慣說用理論來指導實踐。如果這個實踐不是靠理論指匯出來的，甚至當前的理論無法解釋，我們就覺得很魔幻，覺得不可接受，覺得像煉丹、偽科學，其實根本不是，科學本身也在發展，憑什麼現在知道的科學就是真理，一定都是對的？仍是需要透過不斷的實踐、創新，透過吸取各種各樣的反饋來加速技術的迭代。跑出來了之後，再去慢慢研究這背後的理論也OK，沒有跑出來的話，再過五年時間，人們也不會朝著這個方向去研究。其實大廠都沒有在做生成式AI，沒有在上面投太多資源，包括學術界，大家沒有覺得這個事值得那麼多人去研究，但是一旦跑出來確實很厲害，萬眾矚目。我相信會有大批科學家會跟進研究，背後到底是什麼理論。當然也有可能把這套理論總結出來之後，也可以再用來指導大模型下一步迭代更新，這點完全是合理的。
CSDN：我代表開發者問一些問題，ChatGPT出來的時候正好是NIPS大會，有4萬個機器學習和神經網路的博士在開會，他們都驚呆了—這好像超出了我們對NLP或對話能力的理解，後來解釋是智慧湧現能力，這個秘密現在被揭秘了嗎？ChatGPT沒有用很多中文語料，中文的事實理解其實很差，但是它仍然可以做很好的中文表達，我們選智利詩人巴勃羅·聶魯達很有名的作品翻譯成中文，發現比翻譯家翻譯得還要好，這個你怎麼看？這個突破能不能給我們技術人員講講，到底湧現是怎麼實現的？為什麼用很少的語料，但語言的差距卻沒有了呢？
李彥宏：這確實是讓人感到驚喜和興奮的地方。我們做大模型做了很多年，其實也有不少其他公司做大模型，當用一個億級大模型做的時候，可能做某個單項任務，或者一兩個任務，相對比較窄。後來變成十億級，百億級，一直到最後引數規模達到千億，同時匹配足夠多的資料來訓練，最後就會出現智慧湧現，應該說是從量變到質變的過程。僅僅三年前，我們所說的大模型是引數億量級的大模型，今天當我們說大模型的時候，大家大多數理解引數是千億量級的大模型，這種進化和技術迭代的速度其實超過了像摩爾定律這樣大家熟悉的演化速度，這仍是很神奇的。
一旦越過那個門檻之後，過去我們覺得不太可能的事發生了質變。如果再稍微往下沉一點看，為什麼會有這樣的質變？我自己的理解是，學世界各種各樣語言的文字，本身雖然是機率模型，仍是基於過去已經出現的十個字元或者token，下一個字元最有可能是什麼，簡單的技術原理就是這樣。但是當實際資料量足夠大，演算法比較正確的時候，基本上人類對於物理世界的理解逐步壓縮到了一個模型裡，如果這麼來理解大模型的話，確實就是具備了智慧湧現或者說是觸類旁通的能力，我覺得確實很神奇。
以前人們沒有想到，很多東西都是做出來了之後，才會去琢磨這個東西是為什麼，裡面的科學道理是什麼。因為我們上學都是學科學和自然，我們的印象是社會的進步，科技的進步都是先有了理論，在理論的指導下做技術和工程，再把它做成產品推向市場。其實很多時候是工程先做到了，比如人們先發明瞭飛機，已經飛上天了，人們才開始琢磨為什麼比空氣重的東西還能在天上飛，由此產生了空氣動力學。所以大模型也有點這個意思，先做出來了，我們才開始去研究為什麼會是這樣。
CSDN：如果大家都用這個千億模型，逐漸都能夠達到這個能力嗎？逐漸變成類似於開源系統一樣，大家知道基本原理，但是你並沒有開源所有的東西，我們也能夠做到嗎？其他家也能夠做到嗎？
李彥宏：對，這是一個moving target，一直在變。ChatGPT本身也在以一個很快的速度在進化，文心一言在以更快的速度進化。下一個出來的不管是誰，創業公司也好，大廠也好，做到今天這樣的水準肯定是沒問題的。但是我們今天覺得這已經很神奇了，也許再過三個月會發現這個東西怎麼這麼差，它怎麼還會出錯。人們的期望值會不斷抬高，下一個出來的再去追趕之前的大模型，我認為難度是比較高的。在同一個市場上，領先的大模型一定會獲得更多的開發者在上面開發各種各樣的應用，一定獲得更多的使用者給反饋。那這種規模效應或者資料飛輪一旦轉起來，其實後來者追趕起來會挺辛苦的。
“以後沒準學文科更容易找工作”
CSDN：對開發者來說現在矽谷那邊已經風起雲湧，在做各種基於GPT的應用，給程式設計帶來了很大的不同，過去我們面向API、技術棧，現在變成promote程式設計了，整個開發者生態和應用會發生很大變化，你怎麼看未來，不是那種模型應用，是模型之上的ToC和ToB應用會發生什麼變化？
李彥宏：我覺得這是很大的，趨勢上的變化。未來可能不需要那麼多程式設計師，今天寫計算機程式的程式設計師，大模型很多時候能夠自動生成程式碼。但是我們會需要越來越多的提示詞工程師。大模型本身的能力放在那兒了，誰能把它用好，這個東西是有講究的，用得好不好，完全靠提示詞來決定。提示詞寫得好，智慧湧現的可能就多一些，反饋的結果就更有價值一些，提示詞不好，出來的東西就是一本正經胡說八道，或者是錯誤的結論。所以怎麼樣把提示詞寫好，這些東西既是技術也是藝術，甚至我覺得藝術的成分還更多一些。今天這種世俗的來看，好像學自然科學的人更好找工作，工資更高，學文科的不太行，以後沒準學文科更容易找工作，因為寫提示詞的時候，想象力、情感、表達這些有可能真的比現在學工程的人要更有意思，更有效果一些。
CSDN：不同大模型比如說咱們ChatGPT或者GPT-4提示詞會不一樣嗎？
李彥宏：很不一樣，底層訓練畢竟是獨立訓練出來的，如果把它比喻成一個人的話，他的脾氣稟性是什麼，肯定是不一樣的。和他互動過程當中也有不斷摸索的過程，你才會慢慢知道，我怎麼寫這個提示詞能夠獲得更好的效果。
CSDN：你問它資料也會變化是嗎？
李彥宏：會變化。最近談的很厲害那種寫成語，出來的東西你覺得它沒有理解，但是過兩天它就理解了，你老說它不對，它就會知道不對，重新搞一遍好了。
商業化
“我不擔心外界搞不清楚OpenAI是怎麼回事，商業競爭會讓技術進步更快”
品玩：剛才我們說OpenAI現在有GPT-4之後，都不發論文、不開源，不發論文，科學家怎麼去研究？我們到底怎麼去配合科學和理論？
李彥宏：OpenAI現在相對來說比較商業化，當然商業化也不是壞事，有足夠的資金去投入，技術迭代的速度會更快。開源不開源完全是它的選擇，如果在不開源的情況下，技術迭代速度會更快，能夠更好地去造福人類，也是挺好的路線。外界的研究也不能完全指望靠OpenAI的公佈，其實各個公司各個研究機構都已經開動了這種機器，該投入的投入，該做研究做研究，該做嘗試做嘗試。所以，我認為逐漸會形成一套產學研模式，各幹各的事，慢慢會形成有規模的領域，甚至是學科。我不擔心外界搞不清楚OpenAI是怎麼回事，這項技術或者是這個方向的迭代速度都會變慢，我恰恰覺得有競爭，有商業色彩在裡頭，會使得技術的進步更快一些。
極客公園：現在外界很多人推演說未來大模型的賽道要把技術越練越好，百億美金以上持續投入。我比較好奇，在百度視角，在你的視角來看，是不是必然投入的量級，有沒有其他選擇？
李彥宏：投入是肯定的，而且會越來越大。比如目前OpenAI百億美金的投入量級。但是隻要有競爭的話，一定會投入增大。所以，未來是百億美金，仍是千億美金沒有人知道。我們只知道隨著這些投入，技術進步會越來越快，在各個行業、各個場景商用普及程度也會越來越快。所以，投入只是硬幣的一面，硬幣的另一面是收益，這個確實有用，是在我們能夠想到的各行各業、各種場景都有用。
所以，發展大模型不僅僅意味著投入，也意味著收益。這個收益隨著時間推移，會越來越顯現出來。我不知道你有沒有讀過OpenAI，他們從非盈利組織變成limited organization。門檻、利潤要超過今天的蘋果，蘋果是世界上第一大第二大市值的公司，利潤超過之後，才會變回去。足見對生意、業務，對能夠掙錢的量級有很高的預期，不是純投入。純投入不可能發展這麼快，一定是有收益，有收益的根本原因是有效果，是市場需要，對我們的社會、文明有正向的作用，才會有收益。
極客公園：所以就是一邊煉丹，一邊發電，那麼百度接下來在搜尋上，會很快看到它在裡面發電嗎？
李彥宏：肯定，百度目前所有的產品無論搜尋、小度、貼吧、文庫、網盤、地圖，每個部門現在都在加班加點，更快地研究把文心一言的能力整合進去，而這種整合其實會很自然，你會覺得這個產品裡頭就需要這樣的能力。對百度來說是這樣，對很多企業也是一樣的，大家很自然地就能夠看到，我可以用到、整合、需要這些能力。
所以，社會會以一個更快的速度去演進。今天我們回看15年前，比如iPhone出來之前，很難想象那個時候的人過的是那樣的生活。如果再過五年十年再回看2023的話也是同樣的感覺。過去的人們可能回看一兩百年都覺得差不多，人們過的就是那樣的日子。但是今天你回看15年、20年都覺得很不一樣。今天我們看一些講90年代的電視劇，看他們的生活場景，明顯和今天不一樣。我覺得未來五年十年，這種感覺會更明顯。
“大模型是雲計算的Game Changer”
品玩：看得出你對技術宏大的一面很有熱情，但其實過程裡也一直提到商業化。我留意到你一開始提到，如果這個技術出來沒有客戶買單其實也沒有什麼意義，剛剛有些問題其實仍是聚焦在百度搜索等具體功能上的使用，但其實我們會發現，包括對chatgpt的討論，大家可能忽視的是後面還有微軟的雲Azure，其實雲市場已經在發生很明顯的變化了。所以您認為大模型對於雲市場的改變是怎樣的？
李彥宏：是的，我也公開地講過，我認為文心一言的出現或者大語言模型的出現對於雲計算來說，是一個game changer，它會改變雲計算的遊戲規則。因為過去比較傳統的雲計算就是賣算力，主要是每秒鐘的運算速度、儲存這些比較基礎的能力。但是隨著技術的演進，真正AI時代的應用不會建立在一個過去的地基上。過去的地基，除了剛才說的雲計算之外，還有在移動時代的iOS或者安卓這樣的作業系統上面去開發APP，或者PC時代的話就是在Windows上面開發各種各樣的軟體。而在AI時代，新的應用會是基於大模型來開發的。關於“是不是有一天所有的模型都統一成一個模型”這個存疑，我大概兩年前，在內部push過一段時間，想把語言、視覺、語音模型全都統一成一個模型。雖然當時大家怎麼想都覺得不對、做不到，但是語言模型規模變大之後，它會能力越來越強，視覺模型規模變大之後，能力也會越來越強。
未來的應用會基於這些模型去開發，上面開發的不管是搜尋或者是貼吧，都是基於我們已經做出來的這些大模型去進行開發。這和過去一個創業公司直接去用某一個雲，是很不一樣的，那個時候用的確實就是算力，甚至具體到用幾塊CPU、GPU，而以後不用再擔心這個層面的事了。就比如我小時候學的是組合語言，後來學C語言，而今天大家都在用Python寫程式碼，利便程度是完全不一樣的。你如果能夠用Python寫，誰還會去學彙編？就是這麼簡單的一個道理。所以，對於百度來說，我的理論就是四層架構，晶片層、框架層、模型層，上面才是各種各樣的應用。早期的人們是說有什麼晶片，我要基於這種晶片去開發各種各樣的應用。後來我們說像百度的飛槳，人工智慧時代的框架，它的中國市場佔有率第一，在美國的話就是Pytorch、TensorFlow。在2023年之前，開發者做AI應用的時候，比較依賴框架。但是大模型出來之後，其實框架也變成相對比較底層的東西，以後開發各種各樣的應用基於模型來開發就可以了。下面是什麼框架，其實也沒有那麼重要了。
但是對於百度這樣的公司，當我們在提供基礎模型的時候，我們用什麼框架、晶片其實仍是很重要的。甚至某種意義上講，它每一層透過反饋不斷相互加強，不斷提升它的效率。所以，內部叫做端到端的最佳化。由於我們在晶片層有崑崙，在框架層有飛槳，在大模型層有文心。當然，這種暴力美學如剛才提到的很耗算力，那麼同樣用價值10億美元的晶片，怎麼比別人效率更高，怎麼能夠算得更快？就需要有飛槳這個框架進行配合。模型也要能夠知道這些晶片到底是什麼能力可以被充分發揮出來，或者說，崑崙晶片怎麼改變一下自己的設計，去更合用于飛槳，更合用於文心一言的模型。
這些東西端到端最佳化之後，我們的效率會比任何其他的大模型要更高。所以，時間長了，商業的競爭最終競爭的是效率，你的效率比別人更高你就贏了，你的效率比別人低，再給你投多少錢，最終也會打水漂，這是無數的案例都證明了這一點。
品玩：其實是三層架構，最後才是應用。我們現在看GPT-4，很難說它在哪些大型產業上能夠被廣泛的應用。寫個論文，做個心理諮詢等，其實也沒有落地大型產業。基於中國的產業環境和結構，是不是反而能夠彎道超車或者變道超車？
李彥宏：我認為確實這個模型還可以再有一箇中間層，就是所謂的行業大模型。除了這些基礎模型之外，某一個行業比如能源行業，所以行業大模型應該是一個未來比較看得見的創業機會，有些行業相對比較後知後覺，那些客戶覺得不著急，等等看。這個時候如果你基於這個行業的共性訓練出來一個行業大模型的話，可以慢慢把行業客戶都吃下來，讓他們基於這個行業大模型再去開發自己的應用。
生態
“創業公司最大的機會在應用”
品玩：您的意思就是通用大模型的事，創業公司最好就別往裡邊去做了，因為又要花錢又要花時間，交給幾個大的平臺，讓他們基於這個東西去衍生行業模型的應用，這是比較好的生態。
李彥宏：目前看確實是這樣的。如果去做基礎大模型的話，創業公司是沒有優勢的，這和OpenAI那個時代是很不一樣的，它2015年成立之後，慢慢琢磨，在別人都看不上，不看好的方向，最後做出來了，一下聚集了一批開發者，有微軟的支援，才能夠有今天。但是今天所有的大廠都在玩命投資源做的情況下，我作為一個創業公司，我想做一個基礎大模型，我想讓所有的開發者都基於我的模型開發應用，這沒有什麼道理啊。你又不是第一個做出來的，市場上已經有了。要資料沒有資料優勢，要算力沒有算力優勢，要生態沒有生態優勢。對於創業公司來說，最好做一些新東西，做一些別人不太看好的東西，成功率會更高一點，社會意義、商業價值都會更大。
CSDN：我問一個問題。大家都把ChatGPT的出現比喻為iPhone時刻，在移動時代出現了開放、開源和閉源的競爭，iOS是閉源的，安卓是開源的，開源最後贏得了生態很大的勝利。所以，開源大模型包括Meta出了一個LLaMA，開源大模型有市場機會嗎？
第二個問題，行業大模型有兩種"煉法"，一種是在百度文心一言上煉行業大模型，還有一種是在開源大模型上去練我的垂直大模型。哪種會更好一些？會出現開源大模型的這種生態嗎？
李彥宏：我覺得有可能出現，但是最終其實是一個市場的自然選擇，對於一個開發者來說，今天去選擇一個閉源的大模型仍是開源的大模型，最主要是看兩個因素。一個就是哪個效果好，一個就是哪個便宜。開源的話在價格上有非常明顯的優勢，基本上可以不要錢就能使用這些東西；閉源如果還有生存空間的話，一定是做得比開源好，才有生存空間。所以當你更加追求效果的時候，你就會選擇一個閉源的模型。但這是一個靜態的觀察或者說是討論，動態的話可能說隨著時間的推移，開源和閉源兩條技術路線，最後誰會跑得更快，誰會後勁更足，可持續性會更好，我認為這是一個開放性問題，正例反例都有。對於開發者來說，現在只能選擇現在效果更好的，或者價效比更高的這樣一個模型來進行開發，對於這兩條路線之爭我們只能是拭目以待了。
極客公園：問最後一個問題。創業者社群裡，大家特別要求我一定替他們問Robin，很想得到你的建議，大家以前我們講有移動時代的Mobile native。現在什麼是AI Native，Robin有沒有在這方面的思考，或者感悟能夠分享。對創業者來講，是今天趕緊下場做To C的產品，仍是說更加認真思考一下，在某些垂直領域怎麼改變商業邏輯，怎麼建議創業者行動。
李彥宏：今天大模型處在產業發展非常早期階段，不管是什麼樣的觀察，我觀察也好，其他人觀察也好，都有可能發生變化。今天在我看來所謂的AI Native最明顯特徵，就是剛才講的提示詞。過去沒有這個行當，我們也不覺得說跟計算機互動有那麼多講究，今天或者未來怎麼去寫提示詞，才能夠把大模型能力能夠推舉出來，這是非常有意思的行當，我也認為這是將來新的工作機會，最容易出現的地方。甚至有一個比較大膽的猜測，我覺得10年之後，人類一半的工作跟這個有關，就是寫提示詞。除了提示詞這一方面大的改變，從創業的角度來說，我認為首先機會會很大，這個機會可能10倍於移動網際網路的機會，主要機會肯定在各種各樣基於大模型開發出來的應用，這個應用是To C仍是To B，是收費仍是廣告模式，我認為肯定會都有。每一個方向的機會已經大到作為單獨一個創業者來說不需要關心這個事，不可能有天花板，以至於一個創業公司都要擔心這個市場是不是足夠大，完全不用擔心。
品玩：行動就好了。
李彥宏：謝謝你們。聊得非常開心。
3月23日晚上，百度文心一言邀請內測一週後，李彥宏和品玩，極客公園以及CSDN一起聊了一個小時天。
對於文心一言快速邀請內測背後的考量，與ChatGPT和GPT-4等的比較，未來國內市場的競爭，以及這場技術革命給人類帶來的機會和挑戰，他都給出了自己的答案。
以下為經簡單收拾整頓的聊天實錄。
誕生
“我當時拍了個板，3月份一定要內測”
極客公園：Robin好，非常高興見到你，其實百度文心一言作為中國第一個類似於ChatGPT這樣型別的產品，本身是情理之中，可能速度有點意料之外，我聽到外界比較感興趣一個傳說百度經歷過大概40天衝刺，能夠迅速Deliver產品出來，這個讓大家很吃驚的，我好奇40天經歷什麼，衝刺怎麼衝，給我們講講誕生過程。
李彥宏：40天這個說法我是沒有聽說過的。百度做人工智慧十幾年，我們做大語言模型也有幾年的時間，從2019年文心1.0版本釋出，到現在將近四年時間，這期間我們釋出了文心1.0、2.0、3.0。去年11月30號ChatGPT釋出，我們試用了一下之後確實有驚豔的感覺，與以前的大模型相比，尤其在內容生成方面有大的進步，所以從那個時候開始內部確實壓力比以前更大。
中國產業環境裡，包括我接觸到很多人都在問，百度有嗎，你們要不要做一個類似的東西，大家很自然而然地往這個方向想。百度這些年一直在做語言大模型，確實很重視，從2019年到現在，我個人花了不少時間和團隊討論大模型到底會向什麼方向發展，會有什麼樣應用，有多大潛力，應該投入多少資源。到最後越來越覺得我們需要儘快做一個對標ChatGPT的大語言模型。
所以確實在邀請內測之前兩個月，內部工作壓力蠻大的，大家日夜奮戰，也有很強的危機感。剛剛做出來的時候，內部看效果確實不行，我們雖然看到它能以很快的速度提升，但是不確定什麼時候可以邀請內測。內部也不斷討論到底什麼時候可以。
我當時拍了個板，3月份一定要內測。團隊沒有那麼有決心信念，擔心3月份做不出來。我這樣做確實是有意給團隊一些壓力，讓他們能夠動作更快一點，提升的速度更快一點。
所以確實最後兩個月比較緊張，但是我仍是比較滿意。一開始我們公佈3月份要內測的時候，團隊的理解是3月31號。後來我跟他們講3月17號我要去參加亞布力論壇，那個時候文心一言已經滿城風雨，關注度非常高，如果我到亞布力的時候文心一言沒有內測，我會不知道該說什麼，別人關注都是文心一言，我去講別的，人家肯定覺得很虛偽。包括一些很好的朋友，問起來的話什麼都不說是不行的，說一些保密的東西也不合適，畢竟我們也是上市公司，投資人也對文心一言很關心，跟一部分人說跟不跟另外一部分人說，就是選擇性披露，這是不行的，所以2月底的時候我就說3月16號邀請內測好了。確實到最後這個階段有一點趕，但3月16號的時候我對文心一言已經達到的水準仍是比較滿意的。
“市場需求這麼旺盛情況下，誰先做出來仍是意義非常大的”
品玩：Robin特別高興有這個機會跟您交流文心一言事情。您本人、團隊最近一直強調百度是全球大廠裡第一個做出生成式AI模型的公司。外界對創業公司和大廠做同樣的大模型這件事的包容度是不同的，您怎麼看待大廠裡第一個內測大模型這件事的意義，為什麼它對百度是重要的，以及大廠在這裡邊有哪些東西是它的優勢？
李彥宏：百度文心一言內測之後遇到了一些批評的聲音，算是我預料之中。我在新聞釋出會至少說過三遍文心一言還不完美，選擇現在這個時間邀請內測，最主要的原因是市場需求旺盛。ChatGPT剛剛釋出的時候也是遇到很多批評，所謂“一本正經胡說八道”，很多人覺得無法接受。我記得程式設計師社群Stack OverFlow明確禁止在社群釋出透過ChatGPT生成的內容，因為ChatGPT錯誤率太高了，很容易誤導使用者。所以文心一言不管什麼時候出來，都不可能是完美的，只有出來之後才有機會更快地去迭代，去提升。
百度作為全球大廠中第一個做出來意義很大，我覺得很驕傲，因為市場需求太旺盛了，無數的人，過去不怎麼聯絡或者行業跟我隔得很遠的人現在都在問，我們怎麼能跟百度合作，怎麼儘早試用。
所以在中國市場上極早做出來一個生成式大語言模型意義是非常大的。其他的大廠包括美國的谷歌、Facebook、Amazon都沒有發出來，我覺得有兩種原因，一個原因是他們之前沒有那麼重視這件事，生成式AI和過去搜索引擎常用的判別式AI是不太一樣的，使用的演算法、理念甚至是評判質量好壞的標準都不太一樣。所以生成式AI不是大廠之前很重視的方向，等到ChatGPT出來之後，它再著急的話確實需要時間的，不是一時半會兒能夠做的跟OpenAI做的一樣好。
當客戶把需求提給我們之後，我們有針對性地進行最佳化和迭代，很快就可以變得非常有用。對我們來說如果客戶不願意為這個付費，這個產品或者這個技術對我們也沒有什麼價值，客戶如果願意付費的話，無論多不完美它自己就證明了它的價值，所以我覺得市場需求這麼旺盛情況下，誰先做出來仍是意義非常大的。當你作為一個大廠第二個做出來了，很像谷歌在美國遭遇一樣，其實谷歌的人工智慧技術我覺得基礎是非常好的，這麼多年AI上花的錢應該可能不輸於任何一個全球高科技公司。在這種情況下如果出來的東西仍是有瑕疵的，明顯不如一個創業公司的話，頂的壓力是很大的。作為市場上第二個出來，公眾或者說客戶、媒體對你的要求完全不一樣了，所以從這個意義講我也認為第一個出來非常重要。
競爭
“別人我們管不了，我們只管自己就好了”
極客公園：拿今天的文心一言和已經經過幾個月資料飛輪迴圈的ChatGPT跨時空比有些不公平的，對公眾來講大家仍是很期望有一個比較能夠理解的對標，比如說讓你定義下，今天的文心一言相當於什麼時候的ChatGPT，甚至在技術上是多少分，或者相當於什麼時候？有沒有一個比較具像讓大家理解這麼一個對標，追問一句有差距但是往上追趕，真正挑戰到底是在算力、資料、仍是在模型更創新方式上，你會怎麼看？
李彥宏：文心一言邀請內測之後，我看到網上各種各樣的評測、對比，都是在拿文心一言跟最提高前輩的大模型做對比。不僅會對比GPT-3.5版本，也會對比GPT-4版本。GPT-4在文心一言邀請內測之前一天釋出，釋出之後大家在網上評測、對比都是說文心一言和GPT-4相比有什麼問題，或者熟優熟劣。像文心一言的多模態功能，用文字生成圖片，我看好多人把這個功能跟Midjourney對比，大家會在任何一個方向上用市面上最提高前輩的產品跟百度文心一言進行比對。其實我覺得也無所謂公平不公平，大家這麼關注，有這麼高期望，是我不斷提升的動力。我也不斷在講文心一言不夠完美，事實上如果全面來評測的話，文心一言確實也不如現在最好的ChatGPT版本，但是差距不是很大。所謂不是很大，可能就是一兩個月的差別。講一個我們內部的Datapoint，大約就是兩個月之前，我們內部做過一次評測，用文心一言跟當時的ChatGPT做對比，我們大約落後那個時候的ChatGPT 40分左右，我們分析那些落後於它的地方，感覺差不多用一個多月時間就可以把這些問題解決。
過一個月之後解決的差不多了，再去評測一下ChatGPT和文心一言，發現我們不僅沒有趕上ChatGPT，反而差距拉大了。所以當時的團隊也很焦慮，就覺得說我們做了半天反而越來越不如人家了。
極客公園：為什麼？是資料原因仍是其他原因？
李彥宏：就是ChatGPT本身也在不斷進級，能力也在快速提升，那一個月的時間，文心一言可能提升速度不慢，但ChatGPT可能中間有一次大進級，導致它能力有一次質的飛躍。再仔細分析差距之後，覺得說再給一個月還能夠追的七七八八。按照團隊現在的分析，我們水平差不多是ChatGPT今年1月份的水平。但是大家早就忘了1月份它是什麼樣子，今天大家已經習慣GPT-4，GPT-4這個技術跟我們只差一天出來，是一個其他大廠也很難去拿出一個東西跟它比的技術，所以我覺得沒關係，比就比，對我來說只要自己提升足夠快，能夠把過去做不到的東西一步步做到，尤其有越來越多的使用者給我們這些反饋的時候，我仍是逐漸看到不少亮點，不少我們已經做的比現在的ChatGPT要好的方向，當然更多方向不如它，我覺得假以時日我們都是可以彌補的。
極客公園：越多的人在用，哪怕大家吐槽，有追上更大可能。
李彥宏：這也是當初急著邀請內測的重要原因。
極客公園：大家一邊罵一邊用也是有意義。
李彥宏：對，別人我們管不了，我們只管自己就好了。
“被裹挾不見得是壞事”
品玩：您提到著急邀請內測有被裹挾的成分，那麼完成邀請內測就是一個分水嶺，前階段可能被"裹挾"，畢竟對方先做了出來，那麼接下來都到真實環境裡來比拼，是不是可以不用完全繼續被"裹挾"了？
李彥宏：我覺得“裹挾”不見得是壞事，當時沒有外部壓力，我們有可能不會這麼快內測這樣水平的產品；邀請內測之後我也不覺得不再會被“裹挾”，恰恰相反每天收到的使用者反饋比以前多很多很多倍，使用者反饋當中1/3說好的，2/3是說不好的，說不好的使用者反饋實際上也是一種壓力，不管公開罵仍是透過郵件、透過我們設計的渠道來進行反饋，每天看到都是各種各樣的問題，遇到問題，去解決問題，這就是創新過程，自然而然會讓我們迭代的速度越來越快，而這個東西把它說成裹挾也可以，但我更希望說成反饋，我一直認為所有的創新都是靠反饋驅動的，有反饋就可以不斷去創新，反饋越多創新速度越快，沒有反饋天天憋在自己屋裡頭自己幹，那其實沒有出路的。
品玩：中國公司的大語言模型，和美國公司的大語言模型，未來技術上會有區分嗎？
李彥宏：仍是會有一些不一樣，中國有自己特色的語言和文化，比如說我剛才也講文心一言有些地方做的比ChatGPT好，比如貼吧裡邊那些梗，你去問文心一言，它基本上回答對，97%、98%的準確率，ChatGPT會是30%左右準確率，我估計它在這方面的訓練語料少一些，百度在這方面多一些。再舉個例子，白話文翻譯成文言文，或者把文言文翻譯成白話文，這個也是我們擅長的，明顯比它要好。有很多這些東西，包括再往後我們的客戶要求我們做定向調優時候，資料進來之後，就能夠在客戶的領域做的更加精細化，更加高準確率。因為有些場景不能夠容忍這麼高的錯誤率，所以我們一定會解決那些問題。時間長了之後，還會覺得這兩個大模型會有比較多的不同之處，雖然基礎技術是比較類似。
