世界首個AI程式設計師Devin影片竟造假?博主逐幀解析,程式碼任務完成很糟

首頁 > 科技

世界首個AI程式設計師Devin影片竟造假?博主逐幀解析,程式碼任務完成很糟

來源:西紅柿 釋出時間:2024-04-14 17:03

世界首個AI程式設計師Devin影片竟造假?博主逐幀解析,程式碼任務完成很糟

  新智元報道  

編輯:桃子

【新智元導讀】全球首個AI程式設計師Devin被爆影片造假?YouTube博主近日揭露了背後明星初創公司Cognition的謊言,透過逐幀分析發現,Devin並不能獨立完成Upwork工作。

全網爆火的世界首個AI程式設計師Devin,如今被爆出影片竟是作假?

最近,一位有35年軟體工程師經驗的YouTube博主去逐幀復現了,Devin完成Upwork任務的宣傳影片。

卻意外發現,AI並不能像人類工程師一樣完成任務,而且非常糟糕。

他將25分鐘「揭穿Devin的謊言」影片公開後,一時間引爆全網並在HN、Reddit等社交平臺上掀起軒然大波。

更有意思的是,博主自己複製了Devin嘗試做的任務,花費了大約36分鐘。

然而,Devin用了至少6個小時,甚至可能超過一天。

有網友表示,「正如博主詳細解釋的那樣,儘管其試圖在演示中暗示,Devin並不能獨立完成Upwork的工作。它正在建立混亂、過於複雜的程式碼」。

也有人認為,Devin從誕生之初,就更多的是營銷和炒作,而不是現實。

說來,Devin影片真的是作假了嗎?

逐幀分析,揭穿Devin的謊言

Devin釋出之初,背後初創公司Cognition AI更新的官方博文中,透過七個影片介紹了這一AI的「魔力」。

其中,一個影片是,讓Devin自主完成了全球最大的綜合類自由職業平臺Upwork的一項任務。

當時,網友看後驚訝地表示,沒想到AI智慧體都可以做副業了。

Cognition的開發者You挑選了一項「用計算機視覺模型做推理」的工作,具體要求是:

- 我希望利用該資源庫中的模型進行推斷。(https://github.com/mahdi65/roadDamageDetection2020)

- 您的交付成果將是關於如何在AWS的EC2例項中進行操作的詳細說明。

- 請提供您完成這項工作的評估報告。我不會回覆沒有評估的報告。

如下是Devin在官方影片中,完成任務的表現。

接下來,一起看下YouTube博主如何逐幀分析,Devin在真正實操中的能力。

博主稱,我們首先看到Devin並不是能做Upwork上的任何工作,而是在這項任務中,研究者精心挑選了「road damage」任務。

當然,這並非說Devin就是欺騙性的,而是代表其在別的任務中的表現,一定要比這個差。

然後,在實際對話中,開發者You向Devin提出的要求如下,「我想用這個儲存庫中的模型進行推理,請弄清楚」。

上一篇:Claude 3說服... 下一篇:開通花唄的流...
猜你喜歡
熱門閱讀
同類推薦