12月11日，國家網際網路資訊辦公室、產業和資訊化部、公安部聯合釋出《網際網路資訊服務深度合成治理劃定》（簡稱《劃定》），誇大不得利用深度合成服務從事法律、行政法規禁止的流動，要求深度合成服務提供者落實資訊保安主體責任，該《劃定》將於2023年1月10日起施行。
所謂“深度合成技術”，是指利用以深度學習、虛擬現實為代表的天生合成類算法制作文字、影象、音訊、影片、虛擬場景等資訊的技術，包括文字轉語音、音樂天生、人臉天生、人臉替代、影象增強等技術。目前該技術已應用於傳媒、影視製作、社交娛樂、教育以及電子商務等行業，如AI合成主播、虛擬偶像、修復歷史老照片等。
近年來，伴隨技術的廣泛落地，以及一二級市場對相關賽道關注熱度的持續升溫，深度合成技術的濫用也隨之產生。在業界人士看來，《劃定》的落地利於避免技術濫用於詐騙等不法行為。
深度合成技術已廣泛落地生活
自2019年11月起，我國先後出臺《網路音影片資訊服務治理劃定》《網路資訊內容生態管理劃定》《網際網路資訊服務演算法推薦治理劃定》等檔案，對天生合成類內容提出不同程度的監管要求。2022年1月28日，國家網際網路資訊辦公室宣佈《網際網路資訊服務深度合成治理劃定（徵求意見稿）》，向社會公然徵求意見，對深度合成內容的用途、標記、使用範圍以及濫用處罰作出詳細劃定。
中國社科院哲學所科技哲學研究室主任段偉文表示，對深度合成技術引發的社會、法律和倫理題目，應展開有系統性、前瞻性的跨學科研究，對其可能泛起的高風險應用場景進行有針對性的管理與監管。
2022年2月，清華大學人工智慧研究院與多家機構聯合釋出《深度合成十大趨勢呈文（2022）》（簡稱《呈文》）。《呈文》顯示，在國內外主流音影片網站、社交媒體平臺上，2021年新發布的深度合成影片的數目較2017年已增長超過十倍。此外，深度合成內容關注度也呈指數級增長，透過對互動資料進行統計，2021年新發布的深度合成影片的點贊數已超過3億。
2022年深度合成技術落地也甚為火熱。截至發稿，抖音AI繪畫殊效已有2568.1萬人使用；小紅書上，據灰豚資料，“AI繪畫”關鍵詞熱度值8.1萬，聯絡關係筆記互動量76.1萬；騰訊近日也上線了“QQ小世界AI畫匠”流動，使用者上傳照片可一鍵天生專屬異次元形象，但天生結果參差，有的二次元結果符合原圖，有的則“謬以千里”。
國泰君安研報預計未來5年，AI繪畫在影象內容天生領域的滲透率將達到10%—30%，跟著AI繪畫將下一代網際網路作為樞紐著力點，該市場規模超600億元。
除了AI繪畫，近期火熱的聊天機器人ChatGPT，二級市場熱炒的數字人、虛擬主播、AIGC、元宇宙等，均屬於深度合成技術領域。但需注意的是，中國科學院院士、清華大學人工智慧研究院創始院長張鈸在《呈文》開篇寫道：“與其他技術不同，因為人工智慧的安全性題目主要來源於演算法本身的不安全，它更輕易被誤用和濫用。以深度合成技術為例，不法分子可以利用它給社會帶來巨大的威脅。”如偽造音訊、影片，實施誣陷、誹謗、詐騙、勒索等違法行為。
《劃定》稱，近年來，深度合成技術快速發展，在服務使用者需求、改進使用者體驗的同時，也被一些不法職員用於製作、複製、釋出、傳播違法和不良資訊，詆譭、貶損他人名譽、榮譽，仿冒他人身份實施詐騙等，影響傳播秩序和社會秩序，損害人民群眾合法權益，危害國家安全和社會不亂。出臺劃定是防範化解安全風險的需要，也是促進深度合成服務健康發展、晉升監管能力水平的需要。段偉文對記者表示，深度合成技術落地應用中，AI換臉是較為典型的代表，如在短影片中進行虛假影片的傳播，可能引發謠言、對公家產生不良影響等較為嚴峻的結果。
避免技術濫用於不法行為
此次出臺的《劃定》要求，深度合成服務提供者建立健全管理制度和技術保障措施，制定公然治理規則、平臺公約，對使用者進行真實身份資訊認證，加強深度合成內容治理，建立健全闢謠機制和申訴、投訴、舉報機制。同時明確深度合成服務提供者對使用其服務天生或編纂的資訊內容，應當新增不影響使用的標識。提供智慧對話、合成人聲、人臉天生、沉醉式擬真場景等天生或者明顯改變資訊內容功能的服務的，應當進行明顯標識，避免公家攪渾或者誤認。
對於《劃定》的出臺，人工智慧技術行業人士對記者表示，《劃定》對AIGC領域有規範作用，但主要是為了避免技術濫用於詐騙，平臺可能會加上水印技術後繼承執行，猶如行業實行的手機號實名制一樣，對普通人影響不大。
易觀聰明院分析師陳一墨對記者表示，《劃定》無疑是保證深度合成技術可以得到準確應用與推廣的保障，但總得來說利用深度合成技術進行違法犯罪流動的本錢小，執法難度大，因此需要各參與方均有相關法律與風險意識並做出步履。而這必然對各參與方存在不同程度的影響。影響最大的應該是相關服務的供應商。因為深度合成內容涵蓋範圍廣，供應商需要加大力度進行相關稽核，這會推高供應商的運營本錢，且《劃定》第十七條中所述的明顯標識定義較為恍惚，而明顯標識也有可能影響相關服務的體驗。對於個人使用者來說，也需要加強自我審查，增加了應用相關技術的隱性本錢。
上海大邦律師事務所遊雲庭律師對第一財經表示，新劃定主要是對與深度合成有關的人工智慧進行監管，涉及的工業包括人工智慧元宇宙，釋出的部分包括電信公安和網信。主要的監管目的是為了防止這些新生事物對現有的社會秩序產生太大的衝擊。
而《劃定》監管的物件其中之一是深度合成人工智慧的使用者。遊雲庭稱，《劃定》要求其使用這些工具時不得用於違法的目的，另一個物件是深度合成服務提供者，也就是平臺的主體責任，要求其提供服務時，對使用者實名制登記，對合成的內容進行監管和稽核，並且要建立違法和不良資訊特徵庫。同時對平臺要求在練習人工智慧時，假如練習資料包含個人資訊時，應遵守《個人資訊保護》相關劃定，假如使用生物識別資訊的應當取得資料提供者單獨同意，對演算法的倫理機制也進行了劃定，重點劃定了對深度合成服務天生的內容應當進行顯著性的標識，對服務者還要求按現有網際網路治理劃定進行存案由主管部門進行監管。
遊雲庭以為，對普通人來說，這個劃定要求使用者需要正當遵守倫理道德的使用人工智慧。對平臺而言，不僅僅是監管的題目，還要給人工智慧設定倫理，這個挑戰實在很大。
段偉文對記者表示，《劃定》將在短期內促進相關企業加大在安全合規、倫理等方面的投入，以及相關經驗的積累。詳細落地過程中，畢竟哪些技術層面需要進行安全評估、誰來進行等題目，均需要磨合探索。因此長遠來看，《劃定》對行業的影響也需結合詳細過程來觀察。
磨合過程中，段偉文以為，需有三點需要明確：第一是監管部門在不同階段，應對企業提出相對明確的要求；其次，企業作為技術主體，應加強技術自律，及時發現題目，並進行復盤，將相關風險降到最低；作為使用者或消費者環節，全社會應該創造條件，加強人工智慧與數字技術的社會法律倫理影響方面的教育傳播，促進公家人工智慧素養、數字素養的晉升。
至於深度合成技術落地行業過程中如何進行精準鑑別，段偉文稱，需要監管部門、企業與消費者三方努力，構建協同共治的機制。從《劃定（意見稿）》到《劃定》終極落地，過程中已有許多企業介入其中，未來仍需讓消費者也介入進來，儘量減少對企業立異效率產生負面影響。
12月11日，國家網際網路資訊辦公室、產業和資訊化部、公安部聯合釋出《網際網路資訊服務深度合成治理劃定》（簡稱《劃定》），誇大不得利用深度合成服務從事法律、行政法規禁止的流動，要求深度合成服務提供者落實資訊保安主體責任，該《劃定》將於2023年1月10日起施行。
所謂“深度合成技術”，是指利用以深度學習、虛擬現實為代表的天生合成類算法制作文字、影象、音訊、影片、虛擬場景等資訊的技術，包括文字轉語音、音樂天生、人臉天生、人臉替代、影象增強等技術。目前該技術已應用於傳媒、影視製作、社交娛樂、教育以及電子商務等行業，如AI合成主播、虛擬偶像、修復歷史老照片等。
近年來，伴隨技術的廣泛落地，以及一二級市場對相關賽道關注熱度的持續升溫，深度合成技術的濫用也隨之產生。在業界人士看來，《劃定》的落地利於避免技術濫用於詐騙等不法行為。
深度合成技術已廣泛落地生活
自2019年11月起，我國先後出臺《網路音影片資訊服務治理劃定》《網路資訊內容生態管理劃定》《網際網路資訊服務演算法推薦治理劃定》等檔案，對天生合成類內容提出不同程度的監管要求。2022年1月28日，國家網際網路資訊辦公室宣佈《網際網路資訊服務深度合成治理劃定（徵求意見稿）》，向社會公然徵求意見，對深度合成內容的用途、標記、使用範圍以及濫用處罰作出詳細劃定。
中國社科院哲學所科技哲學研究室主任段偉文表示，對深度合成技術引發的社會、法律和倫理題目，應展開有系統性、前瞻性的跨學科研究，對其可能泛起的高風險應用場景進行有針對性的管理與監管。
2022年2月，清華大學人工智慧研究院與多家機構聯合釋出《深度合成十大趨勢呈文（2022）》（簡稱《呈文》）。《呈文》顯示，在國內外主流音影片網站、社交媒體平臺上，2021年新發布的深度合成影片的數目較2017年已增長超過十倍。此外，深度合成內容關注度也呈指數級增長，透過對互動資料進行統計，2021年新發布的深度合成影片的點贊數已超過3億。
2022年深度合成技術落地也甚為火熱。截至發稿，抖音AI繪畫殊效已有2568.1萬人使用；小紅書上，據灰豚資料，“AI繪畫”關鍵詞熱度值8.1萬，聯絡關係筆記互動量76.1萬；騰訊近日也上線了“QQ小世界AI畫匠”流動，使用者上傳照片可一鍵天生專屬異次元形象，但天生結果參差，有的二次元結果符合原圖，有的則“謬以千里”。
國泰君安研報預計未來5年，AI繪畫在影象內容天生領域的滲透率將達到10%—30%，跟著AI繪畫將下一代網際網路作為樞紐著力點，該市場規模超600億元。
除了AI繪畫，近期火熱的聊天機器人ChatGPT，二級市場熱炒的數字人、虛擬主播、AIGC、元宇宙等，均屬於深度合成技術領域。但需注意的是，中國科學院院士、清華大學人工智慧研究院創始院長張鈸在《呈文》開篇寫道：“與其他技術不同，因為人工智慧的安全性題目主要來源於演算法本身的不安全，它更輕易被誤用和濫用。以深度合成技術為例，不法分子可以利用它給社會帶來巨大的威脅。”如偽造音訊、影片，實施誣陷、誹謗、詐騙、勒索等違法行為。
《劃定》稱，近年來，深度合成技術快速發展，在服務使用者需求、改進使用者體驗的同時，也被一些不法職員用於製作、複製、釋出、傳播違法和不良資訊，詆譭、貶損他人名譽、榮譽，仿冒他人身份實施詐騙等，影響傳播秩序和社會秩序，損害人民群眾合法權益，危害國家安全和社會不亂。出臺劃定是防範化解安全風險的需要，也是促進深度合成服務健康發展、晉升監管能力水平的需要。段偉文對記者表示，深度合成技術落地應用中，AI換臉是較為典型的代表，如在短影片中進行虛假影片的傳播，可能引發謠言、對公家產生不良影響等較為嚴峻的結果。
避免技術濫用於不法行為
此次出臺的《劃定》要求，深度合成服務提供者建立健全管理制度和技術保障措施，制定公然治理規則、平臺公約，對使用者進行真實身份資訊認證，加強深度合成內容治理，建立健全闢謠機制和申訴、投訴、舉報機制。同時明確深度合成服務提供者對使用其服務天生或編纂的資訊內容，應當新增不影響使用的標識。提供智慧對話、合成人聲、人臉天生、沉醉式擬真場景等天生或者明顯改變資訊內容功能的服務的，應當進行明顯標識，避免公家攪渾或者誤認。
對於《劃定》的出臺，人工智慧技術行業人士對記者表示，《劃定》對AIGC領域有規範作用，但主要是為了避免技術濫用於詐騙，平臺可能會加上水印技術後繼承執行，猶如行業實行的手機號實名制一樣，對普通人影響不大。
易觀聰明院分析師陳一墨對記者表示，《劃定》無疑是保證深度合成技術可以得到準確應用與推廣的保障，但總得來說利用深度合成技術進行違法犯罪流動的本錢小，執法難度大，因此需要各參與方均有相關法律與風險意識並做出步履。而這必然對各參與方存在不同程度的影響。影響最大的應該是相關服務的供應商。因為深度合成內容涵蓋範圍廣，供應商需要加大力度進行相關稽核，這會推高供應商的運營本錢，且《劃定》第十七條中所述的明顯標識定義較為恍惚，而明顯標識也有可能影響相關服務的體驗。對於個人使用者來說，也需要加強自我審查，增加了應用相關技術的隱性本錢。
上海大邦律師事務所遊雲庭律師對第一財經表示，新劃定主要是對與深度合成有關的人工智慧進行監管，涉及的工業包括人工智慧元宇宙，釋出的部分包括電信公安和網信。主要的監管目的是為了防止這些新生事物對現有的社會秩序產生太大的衝擊。
而《劃定》監管的物件其中之一是深度合成人工智慧的使用者。遊雲庭稱，《劃定》要求其使用這些工具時不得用於違法的目的，另一個物件是深度合成服務提供者，也就是平臺的主體責任，要求其提供服務時，對使用者實名制登記，對合成的內容進行監管和稽核，並且要建立違法和不良資訊特徵庫。同時對平臺要求在練習人工智慧時，假如練習資料包含個人資訊時，應遵守《個人資訊保護》相關劃定，假如使用生物識別資訊的應當取得資料提供者單獨同意，對演算法的倫理機制也進行了劃定，重點劃定了對深度合成服務天生的內容應當進行顯著性的標識，對服務者還要求按現有網際網路治理劃定進行存案由主管部門進行監管。
遊雲庭以為，對普通人來說，這個劃定要求使用者需要正當遵守倫理道德的使用人工智慧。對平臺而言，不僅僅是監管的題目，還要給人工智慧設定倫理，這個挑戰實在很大。
段偉文對記者表示，《劃定》將在短期內促進相關企業加大在安全合規、倫理等方面的投入，以及相關經驗的積累。詳細落地過程中，畢竟哪些技術層面需要進行安全評估、誰來進行等題目，均需要磨合探索。因此長遠來看，《劃定》對行業的影響也需結合詳細過程來觀察。
磨合過程中，段偉文以為，需有三點需要明確：第一是監管部門在不同階段，應對企業提出相對明確的要求；其次，企業作為技術主體，應加強技術自律，及時發現題目，並進行復盤，將相關風險降到最低；作為使用者或消費者環節，全社會應該創造條件，加強人工智慧與數字技術的社會法律倫理影響方面的教育傳播，促進公家人工智慧素養、數字素養的晉升。
至於深度合成技術落地行業過程中如何進行精準鑑別，段偉文稱，需要監管部門、企業與消費者三方努力，構建協同共治的機制。從《劃定（意見稿）》到《劃定》終極落地，過程中已有許多企業介入其中，未來仍需讓消費者也介入進來，儘量減少對企業立異效率產生負面影響。
12月11日，國家網際網路資訊辦公室、產業和資訊化部、公安部聯合釋出《網際網路資訊服務深度合成治理劃定》（簡稱《劃定》），誇大不得利用深度合成服務從事法律、行政法規禁止的流動，要求深度合成服務提供者落實資訊保安主體責任，該《劃定》將於2023年1月10日起施行。
所謂“深度合成技術”，是指利用以深度學習、虛擬現實為代表的天生合成類算法制作文字、影象、音訊、影片、虛擬場景等資訊的技術，包括文字轉語音、音樂天生、人臉天生、人臉替代、影象增強等技術。目前該技術已應用於傳媒、影視製作、社交娛樂、教育以及電子商務等行業，如AI合成主播、虛擬偶像、修復歷史老照片等。
近年來，伴隨技術的廣泛落地，以及一二級市場對相關賽道關注熱度的持續升溫，深度合成技術的濫用也隨之產生。在業界人士看來，《劃定》的落地利於避免技術濫用於詐騙等不法行為。
深度合成技術已廣泛落地生活
自2019年11月起，我國先後出臺《網路音影片資訊服務治理劃定》《網路資訊內容生態管理劃定》《網際網路資訊服務演算法推薦治理劃定》等檔案，對天生合成類內容提出不同程度的監管要求。2022年1月28日，國家網際網路資訊辦公室宣佈《網際網路資訊服務深度合成治理劃定（徵求意見稿）》，向社會公然徵求意見，對深度合成內容的用途、標記、使用範圍以及濫用處罰作出詳細劃定。
中國社科院哲學所科技哲學研究室主任段偉文表示，對深度合成技術引發的社會、法律和倫理題目，應展開有系統性、前瞻性的跨學科研究，對其可能泛起的高風險應用場景進行有針對性的管理與監管。
2022年2月，清華大學人工智慧研究院與多家機構聯合釋出《深度合成十大趨勢呈文（2022）》（簡稱《呈文》）。《呈文》顯示，在國內外主流音影片網站、社交媒體平臺上，2021年新發布的深度合成影片的數目較2017年已增長超過十倍。此外，深度合成內容關注度也呈指數級增長，透過對互動資料進行統計，2021年新發布的深度合成影片的點贊數已超過3億。
2022年深度合成技術落地也甚為火熱。截至發稿，抖音AI繪畫殊效已有2568.1萬人使用；小紅書上，據灰豚資料，“AI繪畫”關鍵詞熱度值8.1萬，聯絡關係筆記互動量76.1萬；騰訊近日也上線了“QQ小世界AI畫匠”流動，使用者上傳照片可一鍵天生專屬異次元形象，但天生結果參差，有的二次元結果符合原圖，有的則“謬以千里”。
國泰君安研報預計未來5年，AI繪畫在影象內容天生領域的滲透率將達到10%—30%，跟著AI繪畫將下一代網際網路作為樞紐著力點，該市場規模超600億元。
除了AI繪畫，近期火熱的聊天機器人ChatGPT，二級市場熱炒的數字人、虛擬主播、AIGC、元宇宙等，均屬於深度合成技術領域。但需注意的是，中國科學院院士、清華大學人工智慧研究院創始院長張鈸在《呈文》開篇寫道：“與其他技術不同，因為人工智慧的安全性題目主要來源於演算法本身的不安全，它更輕易被誤用和濫用。以深度合成技術為例，不法分子可以利用它給社會帶來巨大的威脅。”如偽造音訊、影片，實施誣陷、誹謗、詐騙、勒索等違法行為。
《劃定》稱，近年來，深度合成技術快速發展，在服務使用者需求、改進使用者體驗的同時，也被一些不法職員用於製作、複製、釋出、傳播違法和不良資訊，詆譭、貶損他人名譽、榮譽，仿冒他人身份實施詐騙等，影響傳播秩序和社會秩序，損害人民群眾合法權益，危害國家安全和社會不亂。出臺劃定是防範化解安全風險的需要，也是促進深度合成服務健康發展、晉升監管能力水平的需要。段偉文對記者表示，深度合成技術落地應用中，AI換臉是較為典型的代表，如在短影片中進行虛假影片的傳播，可能引發謠言、對公家產生不良影響等較為嚴峻的結果。
避免技術濫用於不法行為
此次出臺的《劃定》要求，深度合成服務提供者建立健全管理制度和技術保障措施，制定公然治理規則、平臺公約，對使用者進行真實身份資訊認證，加強深度合成內容治理，建立健全闢謠機制和申訴、投訴、舉報機制。同時明確深度合成服務提供者對使用其服務天生或編纂的資訊內容，應當新增不影響使用的標識。提供智慧對話、合成人聲、人臉天生、沉醉式擬真場景等天生或者明顯改變資訊內容功能的服務的，應當進行明顯標識，避免公家攪渾或者誤認。
對於《劃定》的出臺，人工智慧技術行業人士對記者表示，《劃定》對AIGC領域有規範作用，但主要是為了避免技術濫用於詐騙，平臺可能會加上水印技術後繼承執行，猶如行業實行的手機號實名制一樣，對普通人影響不大。
易觀聰明院分析師陳一墨對記者表示，《劃定》無疑是保證深度合成技術可以得到準確應用與推廣的保障，但總得來說利用深度合成技術進行違法犯罪流動的本錢小，執法難度大，因此需要各參與方均有相關法律與風險意識並做出步履。而這必然對各參與方存在不同程度的影響。影響最大的應該是相關服務的供應商。因為深度合成內容涵蓋範圍廣，供應商需要加大力度進行相關稽核，這會推高供應商的運營本錢，且《劃定》第十七條中所述的明顯標識定義較為恍惚，而明顯標識也有可能影響相關服務的體驗。對於個人使用者來說，也需要加強自我審查，增加了應用相關技術的隱性本錢。
上海大邦律師事務所遊雲庭律師對第一財經表示，新劃定主要是對與深度合成有關的人工智慧進行監管，涉及的工業包括人工智慧元宇宙，釋出的部分包括電信公安和網信。主要的監管目的是為了防止這些新生事物對現有的社會秩序產生太大的衝擊。
而《劃定》監管的物件其中之一是深度合成人工智慧的使用者。遊雲庭稱，《劃定》要求其使用這些工具時不得用於違法的目的，另一個物件是深度合成服務提供者，也就是平臺的主體責任，要求其提供服務時，對使用者實名制登記，對合成的內容進行監管和稽核，並且要建立違法和不良資訊特徵庫。同時對平臺要求在練習人工智慧時，假如練習資料包含個人資訊時，應遵守《個人資訊保護》相關劃定，假如使用生物識別資訊的應當取得資料提供者單獨同意，對演算法的倫理機制也進行了劃定，重點劃定了對深度合成服務天生的內容應當進行顯著性的標識，對服務者還要求按現有網際網路治理劃定進行存案由主管部門進行監管。
遊雲庭以為，對普通人來說，這個劃定要求使用者需要正當遵守倫理道德的使用人工智慧。對平臺而言，不僅僅是監管的題目，還要給人工智慧設定倫理，這個挑戰實在很大。
段偉文對記者表示，《劃定》將在短期內促進相關企業加大在安全合規、倫理等方面的投入，以及相關經驗的積累。詳細落地過程中，畢竟哪些技術層面需要進行安全評估、誰來進行等題目，均需要磨合探索。因此長遠來看，《劃定》對行業的影響也需結合詳細過程來觀察。
磨合過程中，段偉文以為，需有三點需要明確：第一是監管部門在不同階段，應對企業提出相對明確的要求；其次，企業作為技術主體，應加強技術自律，及時發現題目，並進行復盤，將相關風險降到最低；作為使用者或消費者環節，全社會應該創造條件，加強人工智慧與數字技術的社會法律倫理影響方面的教育傳播，促進公家人工智慧素養、數字素養的晉升。
至於深度合成技術落地行業過程中如何進行精準鑑別，段偉文稱，需要監管部門、企業與消費者三方努力，構建協同共治的機制。從《劃定（意見稿）》到《劃定》終極落地，過程中已有許多企業介入其中，未來仍需讓消費者也介入進來，儘量減少對企業立異效率產生負面影響。
12月11日，國家網際網路資訊辦公室、產業和資訊化部、公安部聯合釋出《網際網路資訊服務深度合成治理劃定》（簡稱《劃定》），誇大不得利用深度合成服務從事法律、行政法規禁止的流動，要求深度合成服務提供者落實資訊保安主體責任，該《劃定》將於2023年1月10日起施行。
所謂“深度合成技術”，是指利用以深度學習、虛擬現實為代表的天生合成類算法制作文字、影象、音訊、影片、虛擬場景等資訊的技術，包括文字轉語音、音樂天生、人臉天生、人臉替代、影象增強等技術。目前該技術已應用於傳媒、影視製作、社交娛樂、教育以及電子商務等行業，如AI合成主播、虛擬偶像、修復歷史老照片等。
近年來，伴隨技術的廣泛落地，以及一二級市場對相關賽道關注熱度的持續升溫，深度合成技術的濫用也隨之產生。在業界人士看來，《劃定》的落地利於避免技術濫用於詐騙等不法行為。
深度合成技術已廣泛落地生活
自2019年11月起，我國先後出臺《網路音影片資訊服務治理劃定》《網路資訊內容生態管理劃定》《網際網路資訊服務演算法推薦治理劃定》等檔案，對天生合成類內容提出不同程度的監管要求。2022年1月28日，國家網際網路資訊辦公室宣佈《網際網路資訊服務深度合成治理劃定（徵求意見稿）》，向社會公然徵求意見，對深度合成內容的用途、標記、使用範圍以及濫用處罰作出詳細劃定。
中國社科院哲學所科技哲學研究室主任段偉文表示，對深度合成技術引發的社會、法律和倫理題目，應展開有系統性、前瞻性的跨學科研究，對其可能泛起的高風險應用場景進行有針對性的管理與監管。
2022年2月，清華大學人工智慧研究院與多家機構聯合釋出《深度合成十大趨勢呈文（2022）》（簡稱《呈文》）。《呈文》顯示，在國內外主流音影片網站、社交媒體平臺上，2021年新發布的深度合成影片的數目較2017年已增長超過十倍。此外，深度合成內容關注度也呈指數級增長，透過對互動資料進行統計，2021年新發布的深度合成影片的點贊數已超過3億。
2022年深度合成技術落地也甚為火熱。截至發稿，抖音AI繪畫殊效已有2568.1萬人使用；小紅書上，據灰豚資料，“AI繪畫”關鍵詞熱度值8.1萬，聯絡關係筆記互動量76.1萬；騰訊近日也上線了“QQ小世界AI畫匠”流動，使用者上傳照片可一鍵天生專屬異次元形象，但天生結果參差，有的二次元結果符合原圖，有的則“謬以千里”。
國泰君安研報預計未來5年，AI繪畫在影象內容天生領域的滲透率將達到10%—30%，跟著AI繪畫將下一代網際網路作為樞紐著力點，該市場規模超600億元。
除了AI繪畫，近期火熱的聊天機器人ChatGPT，二級市場熱炒的數字人、虛擬主播、AIGC、元宇宙等，均屬於深度合成技術領域。但需注意的是，中國科學院院士、清華大學人工智慧研究院創始院長張鈸在《呈文》開篇寫道：“與其他技術不同，因為人工智慧的安全性題目主要來源於演算法本身的不安全，它更輕易被誤用和濫用。以深度合成技術為例，不法分子可以利用它給社會帶來巨大的威脅。”如偽造音訊、影片，實施誣陷、誹謗、詐騙、勒索等違法行為。
《劃定》稱，近年來，深度合成技術快速發展，在服務使用者需求、改進使用者體驗的同時，也被一些不法職員用於製作、複製、釋出、傳播違法和不良資訊，詆譭、貶損他人名譽、榮譽，仿冒他人身份實施詐騙等，影響傳播秩序和社會秩序，損害人民群眾合法權益，危害國家安全和社會不亂。出臺劃定是防範化解安全風險的需要，也是促進深度合成服務健康發展、晉升監管能力水平的需要。段偉文對記者表示，深度合成技術落地應用中，AI換臉是較為典型的代表，如在短影片中進行虛假影片的傳播，可能引發謠言、對公家產生不良影響等較為嚴峻的結果。
避免技術濫用於不法行為
此次出臺的《劃定》要求，深度合成服務提供者建立健全管理制度和技術保障措施，制定公然治理規則、平臺公約，對使用者進行真實身份資訊認證，加強深度合成內容治理，建立健全闢謠機制和申訴、投訴、舉報機制。同時明確深度合成服務提供者對使用其服務天生或編纂的資訊內容，應當新增不影響使用的標識。提供智慧對話、合成人聲、人臉天生、沉醉式擬真場景等天生或者明顯改變資訊內容功能的服務的，應當進行明顯標識，避免公家攪渾或者誤認。
對於《劃定》的出臺，人工智慧技術行業人士對記者表示，《劃定》對AIGC領域有規範作用，但主要是為了避免技術濫用於詐騙，平臺可能會加上水印技術後繼承執行，猶如行業實行的手機號實名制一樣，對普通人影響不大。
易觀聰明院分析師陳一墨對記者表示，《劃定》無疑是保證深度合成技術可以得到準確應用與推廣的保障，但總得來說利用深度合成技術進行違法犯罪流動的本錢小，執法難度大，因此需要各參與方均有相關法律與風險意識並做出步履。而這必然對各參與方存在不同程度的影響。影響最大的應該是相關服務的供應商。因為深度合成內容涵蓋範圍廣，供應商需要加大力度進行相關稽核，這會推高供應商的運營本錢，且《劃定》第十七條中所述的明顯標識定義較為恍惚，而明顯標識也有可能影響相關服務的體驗。對於個人使用者來說，也需要加強自我審查，增加了應用相關技術的隱性本錢。
上海大邦律師事務所遊雲庭律師對第一財經表示，新劃定主要是對與深度合成有關的人工智慧進行監管，涉及的工業包括人工智慧元宇宙，釋出的部分包括電信公安和網信。主要的監管目的是為了防止這些新生事物對現有的社會秩序產生太大的衝擊。
而《劃定》監管的物件其中之一是深度合成人工智慧的使用者。遊雲庭稱，《劃定》要求其使用這些工具時不得用於違法的目的，另一個物件是深度合成服務提供者，也就是平臺的主體責任，要求其提供服務時，對使用者實名制登記，對合成的內容進行監管和稽核，並且要建立違法和不良資訊特徵庫。同時對平臺要求在練習人工智慧時，假如練習資料包含個人資訊時，應遵守《個人資訊保護》相關劃定，假如使用生物識別資訊的應當取得資料提供者單獨同意，對演算法的倫理機制也進行了劃定，重點劃定了對深度合成服務天生的內容應當進行顯著性的標識，對服務者還要求按現有網際網路治理劃定進行存案由主管部門進行監管。
遊雲庭以為，對普通人來說，這個劃定要求使用者需要正當遵守倫理道德的使用人工智慧。對平臺而言，不僅僅是監管的題目，還要給人工智慧設定倫理，這個挑戰實在很大。
段偉文對記者表示，《劃定》將在短期內促進相關企業加大在安全合規、倫理等方面的投入，以及相關經驗的積累。詳細落地過程中，畢竟哪些技術層面需要進行安全評估、誰來進行等題目，均需要磨合探索。因此長遠來看，《劃定》對行業的影響也需結合詳細過程來觀察。
磨合過程中，段偉文以為，需有三點需要明確：第一是監管部門在不同階段，應對企業提出相對明確的要求；其次，企業作為技術主體，應加強技術自律，及時發現題目，並進行復盤，將相關風險降到最低；作為使用者或消費者環節，全社會應該創造條件，加強人工智慧與數字技術的社會法律倫理影響方面的教育傳播，促進公家人工智慧素養、數字素養的晉升。
至於深度合成技術落地行業過程中如何進行精準鑑別，段偉文稱，需要監管部門、企業與消費者三方努力，構建協同共治的機制。從《劃定（意見稿）》到《劃定》終極落地，過程中已有許多企業介入其中，未來仍需讓消費者也介入進來，儘量減少對企業立異效率產生負面影響。
12月11日，國家網際網路資訊辦公室、產業和資訊化部、公安部聯合釋出《網際網路資訊服務深度合成治理劃定》（簡稱《劃定》），誇大不得利用深度合成服務從事法律、行政法規禁止的流動，要求深度合成服務提供者落實資訊保安主體責任，該《劃定》將於2023年1月10日起施行。
所謂“深度合成技術”，是指利用以深度學習、虛擬現實為代表的天生合成類算法制作文字、影象、音訊、影片、虛擬場景等資訊的技術，包括文字轉語音、音樂天生、人臉天生、人臉替代、影象增強等技術。目前該技術已應用於傳媒、影視製作、社交娛樂、教育以及電子商務等行業，如AI合成主播、虛擬偶像、修復歷史老照片等。
近年來，伴隨技術的廣泛落地，以及一二級市場對相關賽道關注熱度的持續升溫，深度合成技術的濫用也隨之產生。在業界人士看來，《劃定》的落地利於避免技術濫用於詐騙等不法行為。
深度合成技術已廣泛落地生活
自2019年11月起，我國先後出臺《網路音影片資訊服務治理劃定》《網路資訊內容生態管理劃定》《網際網路資訊服務演算法推薦治理劃定》等檔案，對天生合成類內容提出不同程度的監管要求。2022年1月28日，國家網際網路資訊辦公室宣佈《網際網路資訊服務深度合成治理劃定（徵求意見稿）》，向社會公然徵求意見，對深度合成內容的用途、標記、使用範圍以及濫用處罰作出詳細劃定。
中國社科院哲學所科技哲學研究室主任段偉文表示，對深度合成技術引發的社會、法律和倫理題目，應展開有系統性、前瞻性的跨學科研究，對其可能泛起的高風險應用場景進行有針對性的管理與監管。
2022年2月，清華大學人工智慧研究院與多家機構聯合釋出《深度合成十大趨勢呈文（2022）》（簡稱《呈文》）。《呈文》顯示，在國內外主流音影片網站、社交媒體平臺上，2021年新發布的深度合成影片的數目較2017年已增長超過十倍。此外，深度合成內容關注度也呈指數級增長，透過對互動資料進行統計，2021年新發布的深度合成影片的點贊數已超過3億。
2022年深度合成技術落地也甚為火熱。截至發稿，抖音AI繪畫殊效已有2568.1萬人使用；小紅書上，據灰豚資料，“AI繪畫”關鍵詞熱度值8.1萬，聯絡關係筆記互動量76.1萬；騰訊近日也上線了“QQ小世界AI畫匠”流動，使用者上傳照片可一鍵天生專屬異次元形象，但天生結果參差，有的二次元結果符合原圖，有的則“謬以千里”。
國泰君安研報預計未來5年，AI繪畫在影象內容天生領域的滲透率將達到10%—30%，跟著AI繪畫將下一代網際網路作為樞紐著力點，該市場規模超600億元。
除了AI繪畫，近期火熱的聊天機器人ChatGPT，二級市場熱炒的數字人、虛擬主播、AIGC、元宇宙等，均屬於深度合成技術領域。但需注意的是，中國科學院院士、清華大學人工智慧研究院創始院長張鈸在《呈文》開篇寫道：“與其他技術不同，因為人工智慧的安全性題目主要來源於演算法本身的不安全，它更輕易被誤用和濫用。以深度合成技術為例，不法分子可以利用它給社會帶來巨大的威脅。”如偽造音訊、影片，實施誣陷、誹謗、詐騙、勒索等違法行為。
《劃定》稱，近年來，深度合成技術快速發展，在服務使用者需求、改進使用者體驗的同時，也被一些不法職員用於製作、複製、釋出、傳播違法和不良資訊，詆譭、貶損他人名譽、榮譽，仿冒他人身份實施詐騙等，影響傳播秩序和社會秩序，損害人民群眾合法權益，危害國家安全和社會不亂。出臺劃定是防範化解安全風險的需要，也是促進深度合成服務健康發展、晉升監管能力水平的需要。段偉文對記者表示，深度合成技術落地應用中，AI換臉是較為典型的代表，如在短影片中進行虛假影片的傳播，可能引發謠言、對公家產生不良影響等較為嚴峻的結果。
避免技術濫用於不法行為
此次出臺的《劃定》要求，深度合成服務提供者建立健全管理制度和技術保障措施，制定公然治理規則、平臺公約，對使用者進行真實身份資訊認證，加強深度合成內容治理，建立健全闢謠機制和申訴、投訴、舉報機制。同時明確深度合成服務提供者對使用其服務天生或編纂的資訊內容，應當新增不影響使用的標識。提供智慧對話、合成人聲、人臉天生、沉醉式擬真場景等天生或者明顯改變資訊內容功能的服務的，應當進行明顯標識，避免公家攪渾或者誤認。
對於《劃定》的出臺，人工智慧技術行業人士對記者表示，《劃定》對AIGC領域有規範作用，但主要是為了避免技術濫用於詐騙，平臺可能會加上水印技術後繼承執行，猶如行業實行的手機號實名制一樣，對普通人影響不大。
易觀聰明院分析師陳一墨對記者表示，《劃定》無疑是保證深度合成技術可以得到準確應用與推廣的保障，但總得來說利用深度合成技術進行違法犯罪流動的本錢小，執法難度大，因此需要各參與方均有相關法律與風險意識並做出步履。而這必然對各參與方存在不同程度的影響。影響最大的應該是相關服務的供應商。因為深度合成內容涵蓋範圍廣，供應商需要加大力度進行相關稽核，這會推高供應商的運營本錢，且《劃定》第十七條中所述的明顯標識定義較為恍惚，而明顯標識也有可能影響相關服務的體驗。對於個人使用者來說，也需要加強自我審查，增加了應用相關技術的隱性本錢。
上海大邦律師事務所遊雲庭律師對第一財經表示，新劃定主要是對與深度合成有關的人工智慧進行監管，涉及的工業包括人工智慧元宇宙，釋出的部分包括電信公安和網信。主要的監管目的是為了防止這些新生事物對現有的社會秩序產生太大的衝擊。
而《劃定》監管的物件其中之一是深度合成人工智慧的使用者。遊雲庭稱，《劃定》要求其使用這些工具時不得用於違法的目的，另一個物件是深度合成服務提供者，也就是平臺的主體責任，要求其提供服務時，對使用者實名制登記，對合成的內容進行監管和稽核，並且要建立違法和不良資訊特徵庫。同時對平臺要求在練習人工智慧時，假如練習資料包含個人資訊時，應遵守《個人資訊保護》相關劃定，假如使用生物識別資訊的應當取得資料提供者單獨同意，對演算法的倫理機制也進行了劃定，重點劃定了對深度合成服務天生的內容應當進行顯著性的標識，對服務者還要求按現有網際網路治理劃定進行存案由主管部門進行監管。
遊雲庭以為，對普通人來說，這個劃定要求使用者需要正當遵守倫理道德的使用人工智慧。對平臺而言，不僅僅是監管的題目，還要給人工智慧設定倫理，這個挑戰實在很大。
段偉文對記者表示，《劃定》將在短期內促進相關企業加大在安全合規、倫理等方面的投入，以及相關經驗的積累。詳細落地過程中，畢竟哪些技術層面需要進行安全評估、誰來進行等題目，均需要磨合探索。因此長遠來看，《劃定》對行業的影響也需結合詳細過程來觀察。
磨合過程中，段偉文以為，需有三點需要明確：第一是監管部門在不同階段，應對企業提出相對明確的要求；其次，企業作為技術主體，應加強技術自律，及時發現題目，並進行復盤，將相關風險降到最低；作為使用者或消費者環節，全社會應該創造條件，加強人工智慧與數字技術的社會法律倫理影響方面的教育傳播，促進公家人工智慧素養、數字素養的晉升。
至於深度合成技術落地行業過程中如何進行精準鑑別，段偉文稱，需要監管部門、企業與消費者三方努力，構建協同共治的機制。從《劃定（意見稿）》到《劃定》終極落地，過程中已有許多企業介入其中，未來仍需讓消費者也介入進來，儘量減少對企業立異效率產生負面影響。
