大模型落地征程:興奮、現實和難題|36氪新風向

首頁 > 科技

大模型落地征程:興奮、現實和難題|36氪新風向

來源:小飛人 釋出時間:2024-05-02 08:54

文|武靜靜

編輯|蘇建勳

大模型落地有多火,從業者吳炳坤深有體會。

“2023年只有十幾個專案,2024年,上半年還沒結束,已經在服務100多個專案。”眾數信科創始人兼CEO吳炳坤告訴36氪。

2021年創業時,吳炳坤選擇的方向是智慧城市相關,2023年,看到了大模型技術帶來的機會,吳炳坤迅速轉型,藉助原有的資料能力積累,瞄準大模型輕量化和本地化落地方向。

距離ChatGPT初現已有一年多,吳炳坤能感慨感染到,更多企業在真正看到大模型發展對於自身業務價值的價值,也願意切身上手試試。

吳炳坤有一家客戶是某個地方的食品加工生產商,以前,他們只能依靠人工,按照食品監管要求,稽核產品的成分、引導語、規範警示用語等資訊,如今,上了大模型之後,稽核員只需要和AI對話,提出問題,就可以批次作業,效率大大提升。

更多企業方在用開放的姿態擁抱大模型。中國“鞋王”百麗時尚集團正在把大模型融入貨品管理、銷售、客服等各個環節,讓AI不僅深度參與到調貨、管理,還成為獨當一面的數字員工。

比如,在“補貨”這個業務場景。以前,百麗內部需要人員自己填表格、發郵件、找審批等環節,費時耗力,至少要花3天多的實踐,有了大模型之後,在百麗時尚與釘釘合作打造“補貨群”,補貨全流程可以實時反饋,隨機應變,效率明顯提升。

這種大模型帶來效率提升的案例比比皆是,已有資料表明,大模型技術正在帶來一次生產力水平的大躍遷——在紅杉美國發布的 Generative AI研究報告中,這波生成式AI為代表的大模型技術在出現後的一年時間,創造了近30億美元的總收入 ,其中還不包括科技巨頭和雲廠商間接透過 AI 產生的收入,這是SaaS行業花了近10年時間才達到的水平

AI和SaaS收入增速對比,摘自2024年紅杉合夥人Pat Grady的分享

紅杉認為,“ 未來,AI 的一大機遇將是軟體替代服務。如果能夠實現這一變革,AI 的市場潛力將不是數千億美元,而是數十萬億美元級別。”

巨大的機會前景誘惑著每一家科技公司。關於“落地”的討論無處不在,幾乎出現在在每一次投資人、企業、產品經理關於大模型的討論中,有人甚至將2024年稱為大模型落地元年。

吳炳坤和百麗屬於技術的樂觀派,他們願意“嚐鮮”新技術,認為大模型是實現“提質降本增效”的新利器。

但放眼市場各方的態度,還有更多企業對大模型的態度是複雜的,有興奮,但也有更多的疑慮和擔憂。

36氪探訪發現,有的企業一直在觀望,不敢下場,認為大模型技術尚不成熟,且在細分行業落地面臨資料、成本等重重挑戰;有的企業雖然持有很開放的態度,但是對於大模型落地形式疑問重重——大模型和場景結合的產品長什麼樣?在什麼場景先落?技術可靠性如何解決?——這些都讓他們對大模型望而卻步,或只願意在小範圍內測試部分邊緣產品。

共識尚未形成,各類觀點和話題在持續發酵,大模型落地的風正在起勢,AI的觸角也正在從產業的某個單點延伸到更廣的範疇。

本文將從三個主要問題展開,討論大模型落地當下的機會和挑戰:

1. 最先從大模型受益的人

從落地實踐來看,企業對大模型的需求不只侷限在某個固定場景,而是在研發、銷售等方方面面。

目前大模型落地呈現了一幅“廣撒網”的圖景:大模型正在沿著行業軸和場景軸雙線並行,和不同的領域和環節產生新的化學反應——在行業端,融入金融、教育、醫療、製造、零售等領域,在場景端,融入研發、生產、財務、人力、營銷、等各個環節,用技術改造舊模式,撬動新增量。

目前使用大模型技術的主要場景,圖源:a16z

降本提質增效是第一波使用大模型的人嚐到的新甜頭。

首先是金融行業,行業大模型成為標配。目前,行業誕生了至少18個10億引數以上的金融行業大模型。銀行、券商、保險公司等金融機構紛紛參與其中,度小滿、恒生電子、螞蟻集團等金融科技公司紛紛入局,工商銀行、農業銀行、中國銀行、交通銀行、招商銀行等9家銀行正在研發大模型的應用。

大模型落地金融行業全景圖,摘自騰訊研究院

恒生電子首席科學家、大模型產品總監白碩告訴36氪,“調研100多家金融機構使用大模型的進度發現,到2023年12月,大模型應用情況為,10%已在上線階段,25%在立項階段,25%在測試階段,40%還處於調研階段。”

目前基金公司、金融機構、保險公司對大模型的需求優先順序集中在三類:基於機構自有資料庫和知識庫的問答;智慧投顧投研Chat助手;針對文件的挖掘和問答。目前,恒生電子的大模型產品當中,落地最多的就是智慧投研平臺WarrenQ。

風控安全的質量提升是金融行業剛需。在風控的環節,大模型可以更好地識別風險、預警風險與控制風險。比如騰訊雲的金融風控大模型,整體的反欺詐效果比通用模型提升了20%左右準確度。也將傳統的樣本收集、模型訓練到部署上線的建模時間,從以前的2周縮短到僅需2天。

降本增效也是金融客服場景看中大模型能發揮價值的地方。在金融智慧客服板塊,大模型技術能夠有效降低成本,提高服務質量,容聯雲告訴36氪,他們的容犀Copilot就落地在銀行中,與傳統AI相比,大模型將客服對客戶意圖理解的準確度從68%提高到91%。透過精準定製回覆話術,大模型能幫助人工客服節省80%的時間成本。

從這些實踐可以看出,大模型和行業、場景的化學反應也首先從知識密集度更高的地方展開,大模型充當的是降本提質增效的利器,可以直接創作文章、圖片、影片和音訊,也可以是獨當一面的員工,回答各種問題。

同樣,在法律行業,大模型改變了合同智慧稽核的技術路徑,不僅提高服務質量和效率。同時,大模型也為這些to B公司帶來的新的商業化空間——讓他們從週期長、人力成本高的定製化專案中解脫出來,服務更多的使用者。

以冪律智慧的合同稽核產品為例,此前公司服務物件是大型企業的法務部門。引入大模型之前,不同企業合同資訊差別太大,公司需要針對不同企業,做定製化,跑通梳理審查需求-合同資料收集-資料標註-小模型訓練-審查點實現等全流程,內部團隊也要切身參與到資料標註、小模型訓練等環節。

如今,由於法律大模型出色的文字理解能力,可以直接對合同進行理解分析,原先的資料標註和小模型訓練等環節被法律大模型直接替代,只需要透過提示詞的方式就可以完成審查點定製。

冪律智慧智慧合同稽核案例

“在一些場景效率提升了十倍以上。”冪律智慧CEO塗存超告訴36氪。

他提到,此前一個審查點就需要標註大量合同資料、訓練小模型,平均一個審查點定製需要10人天(人工工作日)的人力成本。現在單個稽核點只需要花半天時間,時間週期大大縮短,也進一步降低了定製化專案過程中人力成本。

2. 更多需求端的現實拷問:ROI、產品、效果

與技術樂觀派截然不同,對技術的新鮮感過後,如今,還有很多企業在考察大模型技術時,開始用更現實主義的目光來“審視”這項新技術的價值。

“企業想要的不是大模型這項技術,而是能否在增收、降本、增效上做的更好。”紀元AI創始人梁軍告訴36氪。

榜單多少分,排名多少,引數目多大,這些都不是企業真正關心的問題。在前期考察中,大模型會面臨一個個現實的拷問:“ROI怎麼算?”“能不能增收”“產品能不能解決我目前的痛點?”

企業用創收、節省、效率和準確性提高等多維度衡量大模型投入產出比,圖源:a16z

現實主義的其中一面反應在願意花多少真金白銀上大模型,“使用者想要一個定製化的大模型,花費都在大幾百萬以上,市面上使用者可接受的成本則在5萬到200萬之間。”一位從業者告訴36氪。最終讓步的一定是技術方,目前,市面上大模型部署的成本已經卷到幾十萬。

一名法律科技公司員工表示,各地基層法院每年的總預算通常只有百萬級別,不可能全部花在大模型專案上,因此他們在開發上優先追求“小而美”,即使用大模型對一些已有功能進行進級迭代,再進行封裝,以幾十萬元的價格售賣給法院。

在醫療、法律等領域,對大模型的成本有一個更簡單直觀的考量:如果聘請一個實習生(比如實習醫生或實習律師),就能完成大模型現階段能幹的事情,而且人力比大模型更安全、不出風險,那麼企業有什麼動力花重金購置一個大模型呢?

直接呼叫API是更標準化,成本相對較低的解決方案,但是對於很多手握行業專有資料的企業而言,API介面難以滿足垂直場景使用者需求,且出於資訊保安等考量,他們更希望用私有化的方式,把資料把控在自己手中。

此外,資料也是一個關鍵因素。針對特定企業任務和應用的資料,實際上掌握在企業自己手中。許多大型企業不願意將自己的領域資料公開,金融行業就是典型,它們對私有化部署的需求更高,涉及的專案週期長,導致大模型落地的整個時間週期和成本都很長。

對企業來說,這些都是巨大的現實難題,除非企業高層決心要發展大模型,才可能幹成這件事。但更多人在搖擺和觀望。去年2月初,一家運營商公司找某頭部AI公司瞭解大模型,那會許多人都不瞭解大模型,國內連文心一言都未釋出。然而直到年底,這家運營商還沒真正開始推進,原因是公司老闆一直在猶豫,沒有確定到底由誰負責,該如何去做。

現實主義的另一面最終仍是迴歸到B端應用本身。

“企業會為提高前輩的技術鼓掌,但是隻會為靠譜的產品買單。”紀元AI創始人梁軍說。

由於大模型落地仍處在“拿錘子找釘子”的階段。如果對具體的產品沒有思考,就需要技術方和企業方共同經歷漫長的探索期。或者只能選擇從自身外圍的一些業務場景開始,逐步滲透到核心業務。有人笑稱,這無異於“用大炮打蚊子”。

另一個落地的難點在於通用大模型和真正的行業應用之間有著巨大的鴻溝。梁軍認為,直接呼叫基礎的大型模型並不能滿足特定的需求。例如,在智慧投放領域,不同品類的運營需要解決的專業問題各不相同,如果不對特定領域的資料進行專門處理,就無法實現有效的應用。

如何解決底層的基礎大模型和上層具體應用之間的鴻溝,不同公司解法不一。

有的大模型公司選擇自己做,跑通端到端的全流程服務,有的選擇和第三方公司合作。梁軍的答案是Agent作為中間層來彌合底層模型和上層應用,提升大模型在具體任務召回率、準確率等應用領域的能力。

“這個中間層應該是一個Agent 平臺,不僅可以支撐Agent在某個場景的應用,還可以支援大規模生產和部署 AI Agent,以滿足不同行業和場景的企業需求。”梁軍說。

不同的觀點在持續交鋒,技術和應用之間,這是一片空白地。一切都還在摸索中。

3. 更大的挑戰:數字化基礎是天然屏障

大模型在帶來更有想象空間的未來,但現階段,在中國的本土實踐中,更多企業面臨的現實是,大模型不是空中浮木,需要藉助數字化的土壤才能在企業內部紮根生長。

“在數字化基礎建設不足的情況下,大模型起不到任何作用。”一位CIO告訴36氪。

在他看來,數字化基礎是大模型技術在場景中發揮價值的一道天然屏障。有了數字化基礎,大模型不僅能夠提質增效,創造一些全新的,大模型原生的新體驗和新應用。這個背後的邏輯是:AI的功能越強,覆蓋的業務環節越多,閉環越完整,發揮的效能越大。不僅能在企業工作流中“打輔助”,還可以獨當一面。

最明顯的就是在零售行業,大模型出現之後,誕生了一個個數字員工,他們可以做直播、做導購,還能成為資料中樞“管家”,指導採購、銷售、企業管理。

百麗時尚就推出了供門店店員使用的AI助理。店員透過與AI對話的方式,快速進行貨品查詢、調貨、管理庫存等,服務顧客的效率進一步提高。這些背後都是因為此前集團已經建立一整套數字化體系,能夠做到對資料的隨取隨用。

相反,如果一家沒有任何數字化基礎的企業想要用大模型,不僅成本高昂,且見效會極慢。

一位工程師告訴36氪,此前在給一家建築國企做數字化時,由於該公司體量龐大,且不重視企業資料,導致大模型落地的第一步要從頭梳理資料、分類彙總管理資料,再搭建專有云,這樣初步達到數字化至少要花兩三年時間。

一位正在為國內某頂級醫院開發輔助診療系統的醫療從業者告訴36氪,他發現,打造醫療大模型過程中,獲取資料是最大的難點。

“醫院有大量的資料,但都在內部,要想呼叫非常費勁。”他舉例,有次為了拿到一批國家傳染病資料中心的資料,他需要打各種申請,籤各種保密協議,花了很長時間。

他認為,“做醫療大模型,最核心的問題就是你的資料從哪兒來,如果搞不定這件事,模型效果就很難保證。”

這不僅是技術方需要解決的難題,也是使用大模型的場景方自己需要完善的功課。

“即便AI技術再提高前輩,它也僅是眾多應用中的一種。”前述CIO提到,多年的數字化實踐中,他總結的經驗是,在藉助大模型等數字化工具的同時,企業需要做好基本功。

“資訊化建設是一個逐步構建的過程,需要從基礎層面一層層地進行。如果沒有紮實的資訊化邏輯或資料化邏輯作為支撐,僅僅依靠單一的功能來滿足所有用途或應用是不現實的。”這才是屬於企業自身的內功,也是技術無法觸達的深水區。

由此可見,大模型最終的源頭,仍是迴歸到數字化本身。對於所有的公司而言,數字化的建設並非一朝一夕之事,而要讓大模型發揮其潛力,必須日積月累,先培養好數字化基礎的土壤,才能讓技術真正紮根於企業之中。

上一篇:AI換髮型工具... 下一篇:大興區住建委...
猜你喜歡
熱門閱讀
同類推薦