深度合成危險在何處？
近年來，媒體、視頻博主、電影製作人和應用程序的開發人員一直在內容創作中積極使用所謂的“深度合成”技術。2018年——天貓科技（Tmall Technology）借助深度合成技術幫助達人影視公司從電視劇《巴清傳奇》（又名《贏天下》，《Win the World》）中移除兩個中心人物，並在不重新拍攝場景的情況下用其他人代替。2019年——中國陌陌公司（Momo）創建了ZAO應用程序，讓所有人都可以在他們喜歡的任何電影中嘗試主角的角色。
2021年，美國演員布魯斯·威利斯（Bruce Willis）的深度合成副本出現在俄羅斯電信運營商MegaFon的廣告中。而英國內政部負責人在2022年就已經向俄羅斯博主們透露了國家機密，這些博主借助深度合成技術改變了視頻中的人物外貌。
按照清華大學人工智能研究院2022年的報告，2017年至2021年，嗶哩嗶哩、YouTube平台、抖音和TikTok上的深度合成視頻數量增加了10倍。基本上，人們交換與電影和音樂相關的視聽內容，例如，將當代演員插入上個世紀的電影中，反之亦然。第二個最受歡迎的視頻方向是從科學角度展示技術，以及關於深度合成可能性的教育視頻。
儘管由於技術對普通人的可用性低，世界上使用深度合成技術進行欺詐的轟動一時的案件並不是那麼多，但人們對它的認識不足為犯罪計劃創造了廣泛的空間。據iProov稱，2022年全球只有29%的人確切知道甚麼是深度合成技術。其中，43%的人承認他們不太可能在視頻中識別出這一技術，62%的人認為這項技術很危險。
根據美國網絡安全咨詢公司Recorded Future的報告，深度合成技術現在已經成熟為一個完整的犯罪市場。該報告指出了各種非法使用深度合成技術的案例。在2019年4月，一家未具名的英國石油公司的員工收到一條消息，以其首席執行官的聲音錄制而成，請求把24.3萬美元轉賬到一個匈牙利賬戶中。在“暗網”中，你已經可以找到廣告，黑客僅僅為了1.6萬美元就能創建任何內容的高質量深度合成。Recorded Future公司指出，高達90%的非法深度合成內容是色情內容——2019年全球已有超過10萬名女性成為深度合成的受害者。
中國的情況
2018年，上海發生了中國最臭名昭著的深度合成騙局之一。攻擊者想出了一個創建空殼公司的計劃，用於隨後的資金盜竊。唯一阻礙他們天才計劃的是一個中國金融服務業深入引進的生物識別系統。
為了欺騙系統，騙子們在黑市上購買了人物照片及其個人數據。據《新華每日電訊報》（The Xinhua Daily Telegraph）報道，這些數據的購買價格為30-250元人民幣（約合5-40美元）。然後騙子們在深度合成程序中處理了各種人的照片。因此，當銀行應用程序要求打開前置攝像頭以確認生物特徵時，他們看起來就像完全不同的人。
這項計劃允許兩名男子以他人的名義設立空殼公司，並向他們的客戶開具假稅務發票。他們在兩年內成功竊取了約5億元人民幣（按2018年的匯率計算約為7620萬美元）。
中國當局決定不等待先例增加，而是提前考慮如何在虛假信息鼎盛時期把存在潛在危險的技術納入法律框架。
2019年起草了《(網絡信息內容生態治理規定》和《網絡音視頻信息服務管理規定》。2020年，中國禁止將深度學習和虛擬現實技術用於開展任何非法活動。一年後，《個人信息保護法》和《數據安全法》相繼出台。
北京大成律師事務所高級合伙律師鄧志松律師在接受俄羅斯衛星通訊社採訪時表示，在過去幾年形成的新規則，是對一種危險的新型技術的迅速發展而產生的自然反應。他說，這項技術本身在中國並不被認為是壞事，相反，通過監管，它的發展得到了支持，朝著正確的方向發展。
“利用深度合成技術實施欺詐、勒索犯罪的消息屢見報端，借助其生成的以假亂真的音視頻作品對他人名譽、肖像、隱私等人身權利造成了不可忽視的威脅，利用該技術製造傳播虛假消息擾亂社會穩定、危害國家安全的風險也與日俱增”。
中華人民共和國國家互聯網信息辦公室的新規定涵蓋了使用人工智能算法合成文本、圖像、音頻或視頻的技術。這項新規定要求，提供此類服務的平台要求用戶實名登錄。而這些公司本身，他們的應用程序，首先獲得了用戶許可，可以在算法中使用他們的生物識別技術，並詳細說明該技術的工作原理。
“本規定的出台則是針對深度合成技術更為專項、系統的規定。可以認為，在深度合成技術蓬勃發展甚至‘野蠻生長’的背景下，新規的出台，既是對深度合成技術所帶來的風險挑戰的有力回應，也是為其健康可持續發展保駕護航，同時也呼應了中國對個人信息、數據安全與網絡安全愈發重視的現狀。”
根據將於明年1月10日生效的新規定，深度合成技術服務提供商和用戶不得利用這項技術傳播違反公共秩序的信息，進行威脅國家安全、中國形象或破壞中國經濟的活動。使用深度合成技術創建的內容必須標記為“深度合成”——“借助深度合成技術生成”。試圖從此類視頻中刪除或模糊標籤也是非法的。
如果深度合成供應商發現不合法、不準確的信息，他應該採取行動打擊並聯繫相關部門。此類服務的提供商還需要針對非法使用其技術提供用戶友好且易於理解的投訴系統。例如，在創建ZAO 的陌陌公司的官方網站上，有一條全天候運行的特殊熱線。
一個單獨的監管點涉及媒體。使用深度合成技術故意傳播虛假信息應該承擔刑事責任。
此外，還要求深度合成技術服務提供商必須進行嚴格的信息安全監督，以防止數據洩露或惡意使用其產品。
制定立法來定義深度合成技術的使用邊界是一種全球慣例。然而，這還沒有達到成熟的立法行為。 儘管美國當局認為深度合成是對國家安全的威脅，但目前只在地方層面上實施相關法律。2019年10月，加利福尼亞州通過了美國第一部深度合成法律。其中之一裁定出於政治目的發佈任何視頻都是非法的，例如改變面孔或演講以詆毀政客。第二項法律允許該州居民起訴任何使用深度合成技術製作成人視頻的人。在俄羅斯，在數字欺詐案件增加的背景下，有人提議必須對深度合成作標記——相應的函件已於11月底提交給俄羅斯聯邦數字發展、通信和大眾傳媒部 。
目前有一點很清楚。深度合成技術還將在未來數年內處於“灰色地帶”，各國將實施嚴厲程度不等的監管措施。在某些地方，由於法律過於嚴厲，整個潛在的突破性IT部門可能會窒息；而在另一些地方，由於過度放鬆，受苦的首當其衝是普通人。在這裡很難找到中間立場。畢竟，任何技術都可能以某種方式被濫用。