人們常說“眼見為實”，在生成式AI爆發的時代，這句話恐怕要打上一個大大的問號。2023年12月，一名留學生在境外被“綁架”，父母遭“綁匪”索要500萬元贖金，2024年1月，香港的一家跨國公司員工遭遇釣魚詐騙，導致2億港元損失，娛樂明星的“不雅照片”在網路上被肆意散播……這還只是冰山一角，深度偽造（Deepfake）正是背後的始作俑者。相關報告顯示，2023年基於AI的深度偽造欺詐暴增3000%，基於AI的釣魚郵件增長1000%。人工智慧技術的熱潮放大了現有的威脅，並引入了更多的風險因素，這些威脅遍及全球各行各業，攻擊著企業核心系統、關鍵基礎設施，甚至是政府和軍事機構。
AI時代的“信任危機”
“數字世界中的每個人，無論是企業仍是個人，面對網路欺詐基本上無國界之分，都必須掌握應對網路攻擊的知識和技能。對於AI技術帶來的新威脅，企業必須對可能危及其運營、安全和聲譽的各種風險保持高度警惕。企業也因此需要部署實施強大的技術方案，針對這些威脅建立更強大的防禦機制，並最終領先網路犯罪分子一步。”Jumio亞太區副總裁Frederic Ho在接受採訪時表示。總部位於加利福尼亞州森尼韋爾市（Sunnyvale）的Jumio，為世界各地的客戶提供了AI驅動的線上身份驗證、eKYC和反洗錢合規解決方案。
儘管麥肯錫曾指出，生成式AI有望為全球經濟貢獻約7萬億美元的價值，並將對生產生活帶來顛覆式的影響，但不可否認的是，隨之而來的網路挑戰與日俱增——網路攻擊的規模越來越大、攻擊速度越來越快、造成的影響越來越大、安全防護的複雜性越來越高。例如，一些駭客會透過堆算力的方式發起暴力攻擊；很多企業採用的開源庫和供應鏈存在漏洞，導致駭客入侵更加隱蔽；不少攻擊者會使用生成式AI來自動生成惡意程式碼，快速迭代變種，降低攻擊成本。同時，這些攻擊者也變得更具組織性和專業性。
Gartner預測，到2025年，生成式AI的採用將導致企業機構所需的網路安全資源激增，使應用和資料安全支出增加15%以上。事實上，近年來頻發的駭客事件已經引起越來越多的安全機構重視，去年，美國國家安全域性（NSA）、聯邦調查局（FBI）、網路安全和基礎設施安全域性（CISA）聯合釋出了一份網路安全資訊表（CSI），以應對深度偽造帶來的新威脅。報告中提到，與深度偽造的創造相關的技術發展動態趨勢將繼續降低將該技術用於惡意目的的成本和技術壁壘，應對方案包括深度檢測元資料、實時驗證、反向影象搜尋等。
Jumio公佈的《2023年網路身份研究》顯示，全球57%的受訪消費者認為，生成式AI工具將增加線上身份盜竊的風險。同時，消費者已經留意到深偽技術普遍存在，並具有被濫用於身份欺詐的潛在可能性。雖然全球52%的消費者認為自己有能力識別深偽技術製作，但快速變化的駭客技術仍是讓人們難以防範。在新型換臉技術的“幫助”下，網路犯罪分子以創新型方法融合現有影片或直播流，並實時將另一個身份疊加在原始內容之上。據報道，一名犯罪分子利用AI換臉技術在視訊通話過程中假冒受害者的朋友，騙取了62.2萬美元轉賬金額。
可以看到，文字、影象、音訊、影片等各類內容都成了深度偽造的物件。以深度偽造影片為例，影片影象主要基於生成對抗網路（GAN）生成，透過訓練大量的面部影象資料，模型可以學習面部特徵之間的潛在關係，進而生成與真實面部特徵高度相似的虛假面部特徵。隨著技術的演進，建立深度偽造影片的成本會越來越低，所需的訓練時間越來越少，生成的影片質量也越來越高，更加難以辨別和檢測。與此同時，很多平臺提供了Deepfake類的製作工具，個人使用者可以更輕鬆地生成違規內容，要知道，在GitHub上就有數千個與 “深度偽造”技術相關的儲存庫。
不法分子只需使用現成的偽造工具結合模擬器和特定軟體，就能繞過傳統的防護檢測，滲透到線上會議、社交網路和工作流程中。由於沒有數字痕跡和IP地址等資訊，導致追蹤系統很難察覺。這些欺詐行為可以由機器人自動發起，配合虛假賬戶、暗網分發等方式形成複雜的攻擊網路。
如今，生物識別技術幾乎成了智慧手機、電腦等終端的標配，遺憾的是，攻擊者也想出了新花樣，他們開始採用深偽技術製作的“攝像頭注入”技術來攻破人臉識別系統。攝像頭注入是指欺詐者繞過攝像頭的電荷耦合器件（CCD）（即攝像頭之“眼”），直接注入預先錄製的內容、實時影片換臉或完全偽造（深偽技術製作）的內容。這種預先錄製的內容可能是未經修改的真人影片，也可能是影片剪輯——片段中的人臉被修改或是實際並不存在的合成人臉。此前，香港警方曾拘捕某個本地詐騙集團，該集團利用“換臉”技術冒充已報失身份證的市民，成功騙取金融機構貸款並開設銀行賬戶。
Gartner預測，到2026年，30%的企業將因為AI生成的人臉生物識別深度偽造攻擊而認為此類身份認證和驗證解決方案不再能夠起到可靠的作用。“我們建議企業使用提高前輩的人工智慧和生物識別分析來對抗深度偽造技術。”Jumio亞太區總監丁娜娜說。讓使用者自拍頭像並將其作為檔案上傳的解決方案已不再適用。為了防止深度偽造，要控制自拍過程並拍攝一系列影象，以確定該人是否真實存在並保持清醒，而不是睡眠狀態，不是面具、照片或影片，也不是深度偽造。
真實性檢測步驟要使用提高前輩的AI和機器學習模型，這些模型經過各種真實世界資料的訓練。這一步對於阻止欺詐者絕對至關重要，因為欺詐者現在可以輕而易舉地製造出非常逼真的深度偽造照片，輕鬆騙過舊的身份驗證技術。同時，自拍驗證步驟還應該提供其他生物識別檢查，如年齡評估，以標記與身份證件資料不符的自拍照。除此之外，其他的方法還包括透過對影片流的法醫學檢查來檢測入侵併識別操縱行為、注入以可檢測方式改變預期影象的偽影、利用裝置內建加速度計來檢測物件（如人臉或背景）的變化、將自然運動（如眼球運動、表情變化或規律性眨眼模式）與所捕捉影片中觀察到的運動進行比較等。
對此，Jumio能夠基於面部的生物識別技術將自拍照中的特定面部特徵（如眼睛、鼻子和耳朵的間距）與身份證件照片中的面部特徵進行比較，來判斷兩者是否為同一個人。透過活體檢測技術，還可以發現複雜的攻擊，包括人臉交換、人臉變形和其他高階的欺騙攻擊。此外，Jumio採用了主動光源、影片注入檢測以及眼部和麵部運動分析等技術來阻止攻擊，並確認當前使用者及其身份證件確實存在。
實時線上的身份驗證，一站式服務平臺
合成身份欺詐是另一種駭客行為。詐騙團伙會把竊取或捏造的個人資訊（如政府身份證號碼）與虛假姓名、地址和其他詳細資訊相結合，以建立合成身份用於開展各種欺詐活動——如開設虛假銀行賬戶或進行欺詐交易。對於企業來說，應該確保每個線上開戶的客戶都是他們本人，並且註冊過程中真人要在進行註冊的裝置前。成功登入後，企業應使用生物識別身份認證確保登入帳戶的人與註冊的人相同，以防止帳戶被惡意接管。企業可以和身份驗證服務提供商合作，利用提高前輩的人工智慧、生物識別、活體檢測和欺詐分析技術，簡化並自動化其KYC流程。
近些年，新技術催生了更多更難以識別、追蹤和打擊的金融欺詐案，而不斷加強的反洗錢（AML）法規也提高了KYC程式運營成本，金融機構需要透過便捷的使用者註冊系統來降低運營成本。傳統金融服務提供商需要多種不同的方案來識別使用者身份並進行交易控制等操作，整套KYC方案複雜、低效且成本較高。同時，這些方案通常不適用於數字化環境下的遠端線上開戶。
此外，由於很多企業會藉助數字銀行等服務快速在全球範圍內拓展業務，比如拓展業務到其他獲客成本低的國家，希望在不確定的經濟環境下保持競爭力和盈利性。因此，預計會有更多的公司和金融機構尋找具有全球覆蓋能力的整合服務商，幫助他們節省跨區域多國市場的服務對接等成本，並從既可規模化又可定製化滿足各國監管合規要求的靈活性服務中獲益。
在部署身份驗證解決方案時，企業還應評估內部是否存在其他可能增強安全性和/或使用者體驗的應用場景，來最大限度地提高投資價值。身份驗證的準確性和整體使用者體驗也很重要，具有高準確性的自動身份驗證解決方案可以大大縮短註冊登入時間，從幾天縮短到幾分鐘，從而改善使用者體驗並提高客戶轉化率。它還能幫助企業降低因錯誤拒絕率（FRR）/錯誤接受率（FAR）高而產生的人工稽核與合規成本。
在加強身份欺詐防範方面，Jumio會採用各種AI驅動的方法對身份證件進行欺詐檢查，確保資料和照片沒有被篡改，包括採用基於面部的生物識別技術和提高前輩的活體檢測技術來檢測複雜的欺騙攻擊，如人臉互換和人臉變形。整個過程非常簡單，只需拍一張身份證照片，然後自拍，即可在幾秒鐘內實現身份驗證。使用者旅程簡便、快速，能夠讓合法使用者快速登入，同時將欺詐者拒之門外。在註冊過程中加上被動風險訊號也可以提供更多一層保障，例如，驗證使用者的個人身份資訊（PII）、驗證年齡、評估使用者電子郵件和電話號碼的信用級別、透過IP地址驗證使用者的位置，評估裝置的可信度以評估使用者的風險等級。
此外，欺詐者通常會以多個組織或消費者群體而非單一組織或個體為目標。因此，Jumio推出了新的欺詐分析技術，該技術利用AI驅動的預測分析來識別跨企業網路的欺詐模式，並在使用者透過身份驗證流程時準確預測發生欺詐的可能性，使企業客戶能夠在欺詐發生之前發現並及時阻止。Jumio透過整合的端對端身份驗證和eKYC平臺，即Jumio KYX平臺，提供了一系列身份驗證服務，從賬戶開立到持續監控，確保線上使用者的真實身份，保護企業的生態系統，並且可以滿足KYC/AML要求。
在Frederic Ho看來，企業必須在整個客戶生命週期中採取端到端的方法，加強預防欺詐流程，僅在賬戶註冊時驗證客戶身份是不夠的。人們往往在多個賬戶和網站上使用同一組密碼，增加了賬戶被盜的風險，這種風險貫穿於消費者的整個生命週期。雖然許多企業已經實施了多因子身份驗證，如簡訊或電子郵件一次性密碼，但這些方法已被證明容易受到網路攻擊。由於合成身份欺詐和深偽影象造假帶來的威脅與日俱增，依靠身份證件驗證和核對政府資料庫也已不再安全，企業應該考慮增加其他的驗證技術。
生物識別、活體檢測等方式可用於持續驗證使用者身份，這意味著它們可以幫助阻止各種型別的欺詐行為（如賬戶接管），並在整個客戶旅程中監測任何可疑交易。當前，實施人工智慧驅動的端到端身份驗證解決方案變得更加重要。在區分機器生成和人類互動越來越具有挑戰性的環境中，基於生物識別的身份確權和身份驗證變得更加重要。為此，Jumio不斷改進AI驅動解決方案，以領先於欺詐者。Jumio對身份證件的解剖結構進行深入分析，可以捕獲人眼無法檢測到的基於人工智慧的欺詐。
儘管利用深度神經網路、反深偽檢測等技術能夠對新型欺詐行為進行有效抵禦，但由於駭客技術也在快速迭代，使得這種對抗變成了一個長期的“貓鼠遊戲”，此時，在數字經濟時代建立一種成熟的信任機制就變得非常關鍵。諾貝爾經濟學獎獲得者、紐約大學斯特恩商學院保羅·羅默曾指出，在數字平臺的發展中，信任和規則的建立同樣重要。普華永道也認為，建立數字信任，不僅是一個優先事項，更是不可或缺之舉。
Frederic Ho稱，擁有強大安全措施的企業可以透過提供更可信、更安全的平臺來獲得競爭優勢。透過與經驗豐富的綜合身份驗證提供商合作，企業可以獲得一整套線上身份驗證解決方案，這些解決方案可以利用複雜的有效性檢測工具、人工智慧、計算機視覺、生物識別、持續監控和任何必要的人工審查，為驗證遠端使用者和檢測線上欺詐提供更快、更可靠的方法。
無程式碼業務流程引擎
Frederic Ho還提到要考慮人工智慧和深度偽造技術的道德影響，隨著網路攻擊者不斷調整策略並變得越來越複雜，法規也要不斷發展，才能領先網路犯罪分子一步，“隨著世界各地的政府機構持續參與應對此挑戰的討論，相信我們正走在通往更安全的數字環境的正確道路上，我們可以期待在不久的將來，政府、行業和企業之間會有更多的合作，來共同建立更強大的網路安全架構。”
如今，全球各個國家或地區都在建立資料相關的標準和法規，中國政府對資料安全的重視程度更是持續提升，先後釋出《網路安全法》、《資料安全法》、《個人資訊保護法》等法律法規。2022年，國家網際網路資訊辦公室、工信部和公安部制定的《網際網路資訊服務深度合成管理規定》明確，深度合成服務者應採取技術或人工方式對使用者的輸入資料和合成結果進行稽核。去年8月，國家網際網路資訊辦公室在《人臉識別技術應用安全管理規定（試行）（徵求意見稿）》中明確，人臉識別技術使用者應每年對影象採集裝置、個人身份識別裝置的安全性和可能存在的風險進行檢測評估，採取有效措施保護影象採集裝置、個人身份識別裝置免受攻擊、侵入、干擾和破壞。在2023年《數字中國建設整體佈局規劃》中，也將數字安全屏障和數字技術創新體系並列為強化數字中國的“兩大能力”。
可以說，企業和個人對資料安全的關注度在不斷進步。從市場規模來看，中國安全產業市場和研發投入處於爆發式增長階段。有資料顯示，當前中國數字安全產業規模已達到千億元，預計2028年有望突破萬億元，增速位列全球第一。隨著亞太地區經濟持續增長並帶來眾多商機，企業紛紛拓展業務，以爭取更多的區域性客戶。然而，欺詐和洗錢活動日益猖獗，規模不斷擴大，加之監管法規日趨嚴格且各個國家地區的監管要求也各不相同，企業在中國市場的合規經驗與方案大多數無法直接複用到新的市場，在區域化和國際化的業務拓展過程中，面臨著更大的合規挑戰。對此，Jumio預計會有越來越多的企業利用生成式AI實現合規流程的自動化並提高其效率，適應各國監管環境的動態變化，這些舉措有助於快速部署，確保跨境監管合規。
與此同時，全球有關KYC和資料保護的合規要求也日趨複雜，不能適應這種變化的企業將面臨巨大損失。為了應對這一挑戰，很多企業不得不部署來自不同供應商的大量不同工具，以滿足每個必要程式的具體要求。然而，很多企業已經意識到這種方法既昂貴又不能持久。此外，企業還要求身份驗證工具能夠提供流暢無縫的使用者體驗，以防止使用者因使用者體驗不好而放棄使用服務。“我們正處於身份驗證供應市場的轉型時期，終端使用者正在轉向全面平臺而非單一功能。2024年，我們將見證身份驗證供應商之間的行業整合，這些供應商將面臨合併、收購或被迫退出市場的局面。”丁娜娜說。
自2010年成立以來，Jumio透過實時的網頁端和移動端交易，已累計處理10億多筆交易，業務覆蓋200多個國家和地區，並且在持續開發更智慧的AI演算法以強化欺詐檢測。金融服務、共享經濟、零售、旅遊和線上遊戲領域的企業正在廣泛採用Jumio解決方案。同時，Jumio的創新實驗室不斷改進AI驅動解決方案，以領先於欺詐者，為企業發展保駕護航。
(8678800)
人們常說“眼見為實”，在生成式AI爆發的時代，這句話恐怕要打上一個大大的問號。2023年12月，一名留學生在境外被“綁架”，父母遭“綁匪”索要500萬元贖金，2024年1月，香港的一家跨國公司員工遭遇釣魚詐騙，導致2億港元損失，娛樂明星的“不雅照片”在網路上被肆意散播……這還只是冰山一角，深度偽造（Deepfake）正是背後的始作俑者。相關報告顯示，2023年基於AI的深度偽造欺詐暴增3000%，基於AI的釣魚郵件增長1000%。人工智慧技術的熱潮放大了現有的威脅，並引入了更多的風險因素，這些威脅遍及全球各行各業，攻擊著企業核心系統、關鍵基礎設施，甚至是政府和軍事機構。
AI時代的“信任危機”
“數字世界中的每個人，無論是企業仍是個人，面對網路欺詐基本上無國界之分，都必須掌握應對網路攻擊的知識和技能。對於AI技術帶來的新威脅，企業必須對可能危及其運營、安全和聲譽的各種風險保持高度警惕。企業也因此需要部署實施強大的技術方案，針對這些威脅建立更強大的防禦機制，並最終領先網路犯罪分子一步。”Jumio亞太區副總裁Frederic Ho在接受採訪時表示。總部位於加利福尼亞州森尼韋爾市（Sunnyvale）的Jumio，為世界各地的客戶提供了AI驅動的線上身份驗證、eKYC和反洗錢合規解決方案。
儘管麥肯錫曾指出，生成式AI有望為全球經濟貢獻約7萬億美元的價值，並將對生產生活帶來顛覆式的影響，但不可否認的是，隨之而來的網路挑戰與日俱增——網路攻擊的規模越來越大、攻擊速度越來越快、造成的影響越來越大、安全防護的複雜性越來越高。例如，一些駭客會透過堆算力的方式發起暴力攻擊；很多企業採用的開源庫和供應鏈存在漏洞，導致駭客入侵更加隱蔽；不少攻擊者會使用生成式AI來自動生成惡意程式碼，快速迭代變種，降低攻擊成本。同時，這些攻擊者也變得更具組織性和專業性。
Gartner預測，到2025年，生成式AI的採用將導致企業機構所需的網路安全資源激增，使應用和資料安全支出增加15%以上。事實上，近年來頻發的駭客事件已經引起越來越多的安全機構重視，去年，美國國家安全域性（NSA）、聯邦調查局（FBI）、網路安全和基礎設施安全域性（CISA）聯合釋出了一份網路安全資訊表（CSI），以應對深度偽造帶來的新威脅。報告中提到，與深度偽造的創造相關的技術發展動態趨勢將繼續降低將該技術用於惡意目的的成本和技術壁壘，應對方案包括深度檢測元資料、實時驗證、反向影象搜尋等。
Jumio公佈的《2023年網路身份研究》顯示，全球57%的受訪消費者認為，生成式AI工具將增加線上身份盜竊的風險。同時，消費者已經留意到深偽技術普遍存在，並具有被濫用於身份欺詐的潛在可能性。雖然全球52%的消費者認為自己有能力識別深偽技術製作，但快速變化的駭客技術仍是讓人們難以防範。在新型換臉技術的“幫助”下，網路犯罪分子以創新型方法融合現有影片或直播流，並實時將另一個身份疊加在原始內容之上。據報道，一名犯罪分子利用AI換臉技術在視訊通話過程中假冒受害者的朋友，騙取了62.2萬美元轉賬金額。
可以看到，文字、影象、音訊、影片等各類內容都成了深度偽造的物件。以深度偽造影片為例，影片影象主要基於生成對抗網路（GAN）生成，透過訓練大量的面部影象資料，模型可以學習面部特徵之間的潛在關係，進而生成與真實面部特徵高度相似的虛假面部特徵。隨著技術的演進，建立深度偽造影片的成本會越來越低，所需的訓練時間越來越少，生成的影片質量也越來越高，更加難以辨別和檢測。與此同時，很多平臺提供了Deepfake類的製作工具，個人使用者可以更輕鬆地生成違規內容，要知道，在GitHub上就有數千個與 “深度偽造”技術相關的儲存庫。
不法分子只需使用現成的偽造工具結合模擬器和特定軟體，就能繞過傳統的防護檢測，滲透到線上會議、社交網路和工作流程中。由於沒有數字痕跡和IP地址等資訊，導致追蹤系統很難察覺。這些欺詐行為可以由機器人自動發起，配合虛假賬戶、暗網分發等方式形成複雜的攻擊網路。
如今，生物識別技術幾乎成了智慧手機、電腦等終端的標配，遺憾的是，攻擊者也想出了新花樣，他們開始採用深偽技術製作的“攝像頭注入”技術來攻破人臉識別系統。攝像頭注入是指欺詐者繞過攝像頭的電荷耦合器件（CCD）（即攝像頭之“眼”），直接注入預先錄製的內容、實時影片換臉或完全偽造（深偽技術製作）的內容。這種預先錄製的內容可能是未經修改的真人影片，也可能是影片剪輯——片段中的人臉被修改或是實際並不存在的合成人臉。此前，香港警方曾拘捕某個本地詐騙集團，該集團利用“換臉”技術冒充已報失身份證的市民，成功騙取金融機構貸款並開設銀行賬戶。
Gartner預測，到2026年，30%的企業將因為AI生成的人臉生物識別深度偽造攻擊而認為此類身份認證和驗證解決方案不再能夠起到可靠的作用。“我們建議企業使用提高前輩的人工智慧和生物識別分析來對抗深度偽造技術。”Jumio亞太區總監丁娜娜說。讓使用者自拍頭像並將其作為檔案上傳的解決方案已不再適用。為了防止深度偽造，要控制自拍過程並拍攝一系列影象，以確定該人是否真實存在並保持清醒，而不是睡眠狀態，不是面具、照片或影片，也不是深度偽造。
真實性檢測步驟要使用提高前輩的AI和機器學習模型，這些模型經過各種真實世界資料的訓練。這一步對於阻止欺詐者絕對至關重要，因為欺詐者現在可以輕而易舉地製造出非常逼真的深度偽造照片，輕鬆騙過舊的身份驗證技術。同時，自拍驗證步驟還應該提供其他生物識別檢查，如年齡評估，以標記與身份證件資料不符的自拍照。除此之外，其他的方法還包括透過對影片流的法醫學檢查來檢測入侵併識別操縱行為、注入以可檢測方式改變預期影象的偽影、利用裝置內建加速度計來檢測物件（如人臉或背景）的變化、將自然運動（如眼球運動、表情變化或規律性眨眼模式）與所捕捉影片中觀察到的運動進行比較等。
對此，Jumio能夠基於面部的生物識別技術將自拍照中的特定面部特徵（如眼睛、鼻子和耳朵的間距）與身份證件照片中的面部特徵進行比較，來判斷兩者是否為同一個人。透過活體檢測技術，還可以發現複雜的攻擊，包括人臉交換、人臉變形和其他高階的欺騙攻擊。此外，Jumio採用了主動光源、影片注入檢測以及眼部和麵部運動分析等技術來阻止攻擊，並確認當前使用者及其身份證件確實存在。
人們常說“眼見為實”，在生成式AI爆發的時代，這句話恐怕要打上一個大大的問號。2023年12月，一名留學生在境外被“綁架”，父母遭“綁匪”索要500萬元贖金，2024年1月，香港的一家跨國公司員工遭遇釣魚詐騙，導致2億港元損失，娛樂明星的“不雅照片”在網路上被肆意散播……這還只是冰山一角，深度偽造（Deepfake）正是背後的始作俑者。相關報告顯示，2023年基於AI的深度偽造欺詐暴增3000%，基於AI的釣魚郵件增長1000%。人工智慧技術的熱潮放大了現有的威脅，並引入了更多的風險因素，這些威脅遍及全球各行各業，攻擊著企業核心系統、關鍵基礎設施，甚至是政府和軍事機構。
AI時代的“信任危機”
“數字世界中的每個人，無論是企業仍是個人，面對網路欺詐基本上無國界之分，都必須掌握應對網路攻擊的知識和技能。對於AI技術帶來的新威脅，企業必須對可能危及其運營、安全和聲譽的各種風險保持高度警惕。企業也因此需要部署實施強大的技術方案，針對這些威脅建立更強大的防禦機制，並最終領先網路犯罪分子一步。”Jumio亞太區副總裁Frederic Ho在接受採訪時表示。總部位於加利福尼亞州森尼韋爾市（Sunnyvale）的Jumio，為世界各地的客戶提供了AI驅動的線上身份驗證、eKYC和反洗錢合規解決方案。
儘管麥肯錫曾指出，生成式AI有望為全球經濟貢獻約7萬億美元的價值，並將對生產生活帶來顛覆式的影響，但不可否認的是，隨之而來的網路挑戰與日俱增——網路攻擊的規模越來越大、攻擊速度越來越快、造成的影響越來越大、安全防護的複雜性越來越高。例如，一些駭客會透過堆算力的方式發起暴力攻擊；很多企業採用的開源庫和供應鏈存在漏洞，導致駭客入侵更加隱蔽；不少攻擊者會使用生成式AI來自動生成惡意程式碼，快速迭代變種，降低攻擊成本。同時，這些攻擊者也變得更具組織性和專業性。
Gartner預測，到2025年，生成式AI的採用將導致企業機構所需的網路安全資源激增，使應用和資料安全支出增加15%以上。事實上，近年來頻發的駭客事件已經引起越來越多的安全機構重視，去年，美國國家安全域性（NSA）、聯邦調查局（FBI）、網路安全和基礎設施安全域性（CISA）聯合釋出了一份網路安全資訊表（CSI），以應對深度偽造帶來的新威脅。報告中提到，與深度偽造的創造相關的技術發展動態趨勢將繼續降低將該技術用於惡意目的的成本和技術壁壘，應對方案包括深度檢測元資料、實時驗證、反向影象搜尋等。
Jumio公佈的《2023年網路身份研究》顯示，全球57%的受訪消費者認為，生成式AI工具將增加線上身份盜竊的風險。同時，消費者已經留意到深偽技術普遍存在，並具有被濫用於身份欺詐的潛在可能性。雖然全球52%的消費者認為自己有能力識別深偽技術製作，但快速變化的駭客技術仍是讓人們難以防範。在新型換臉技術的“幫助”下，網路犯罪分子以創新型方法融合現有影片或直播流，並實時將另一個身份疊加在原始內容之上。據報道，一名犯罪分子利用AI換臉技術在視訊通話過程中假冒受害者的朋友，騙取了62.2萬美元轉賬金額。
可以看到，文字、影象、音訊、影片等各類內容都成了深度偽造的物件。以深度偽造影片為例，影片影象主要基於生成對抗網路（GAN）生成，透過訓練大量的面部影象資料，模型可以學習面部特徵之間的潛在關係，進而生成與真實面部特徵高度相似的虛假面部特徵。隨著技術的演進，建立深度偽造影片的成本會越來越低，所需的訓練時間越來越少，生成的影片質量也越來越高，更加難以辨別和檢測。與此同時，很多平臺提供了Deepfake類的製作工具，個人使用者可以更輕鬆地生成違規內容，要知道，在GitHub上就有數千個與 “深度偽造”技術相關的儲存庫。
不法分子只需使用現成的偽造工具結合模擬器和特定軟體，就能繞過傳統的防護檢測，滲透到線上會議、社交網路和工作流程中。由於沒有數字痕跡和IP地址等資訊，導致追蹤系統很難察覺。這些欺詐行為可以由機器人自動發起，配合虛假賬戶、暗網分發等方式形成複雜的攻擊網路。
如今，生物識別技術幾乎成了智慧手機、電腦等終端的標配，遺憾的是，攻擊者也想出了新花樣，他們開始採用深偽技術製作的“攝像頭注入”技術來攻破人臉識別系統。攝像頭注入是指欺詐者繞過攝像頭的電荷耦合器件（CCD）（即攝像頭之“眼”），直接注入預先錄製的內容、實時影片換臉或完全偽造（深偽技術製作）的內容。這種預先錄製的內容可能是未經修改的真人影片，也可能是影片剪輯——片段中的人臉被修改或是實際並不存在的合成人臉。此前，香港警方曾拘捕某個本地詐騙集團，該集團利用“換臉”技術冒充已報失身份證的市民，成功騙取金融機構貸款並開設銀行賬戶。
Gartner預測，到2026年，30%的企業將因為AI生成的人臉生物識別深度偽造攻擊而認為此類身份認證和驗證解決方案不再能夠起到可靠的作用。“我們建議企業使用提高前輩的人工智慧和生物識別分析來對抗深度偽造技術。”Jumio亞太區總監丁娜娜說。讓使用者自拍頭像並將其作為檔案上傳的解決方案已不再適用。為了防止深度偽造，要控制自拍過程並拍攝一系列影象，以確定該人是否真實存在並保持清醒，而不是睡眠狀態，不是面具、照片或影片，也不是深度偽造。
真實性檢測步驟要使用提高前輩的AI和機器學習模型，這些模型經過各種真實世界資料的訓練。這一步對於阻止欺詐者絕對至關重要，因為欺詐者現在可以輕而易舉地製造出非常逼真的深度偽造照片，輕鬆騙過舊的身份驗證技術。同時，自拍驗證步驟還應該提供其他生物識別檢查，如年齡評估，以標記與身份證件資料不符的自拍照。除此之外，其他的方法還包括透過對影片流的法醫學檢查來檢測入侵併識別操縱行為、注入以可檢測方式改變預期影象的偽影、利用裝置內建加速度計來檢測物件（如人臉或背景）的變化、將自然運動（如眼球運動、表情變化或規律性眨眼模式）與所捕捉影片中觀察到的運動進行比較等。
對此，Jumio能夠基於面部的生物識別技術將自拍照中的特定面部特徵（如眼睛、鼻子和耳朵的間距）與身份證件照片中的面部特徵進行比較，來判斷兩者是否為同一個人。透過活體檢測技術，還可以發現複雜的攻擊，包括人臉交換、人臉變形和其他高階的欺騙攻擊。此外，Jumio採用了主動光源、影片注入檢測以及眼部和麵部運動分析等技術來阻止攻擊，並確認當前使用者及其身份證件確實存在。
