如今，AI技術(shù)正以前所未有的方式改變著我們的世界。然而，AI在為我們提供便利的同時(shí)，產(chǎn)生的隱患風(fēng)險(xiǎn)也接踵而來(lái)。近日，張文宏“被AI帶貨”事件引發(fā)社會(huì)廣泛關(guān)注，也讓“AI換臉”再次成為人們熱議的焦點(diǎn)。

“AI換臉”假冒名人事件頻發(fā)

前不久有網(wǎng)友發(fā)現(xiàn)，疑似知名醫(yī)生張文宏化身“帶貨主播”，在網(wǎng)絡(luò)平臺(tái)售賣(mài)產(chǎn)品。經(jīng)核實(shí)，這個(gè)“張文宏”實(shí)際上是通過(guò)AI技術(shù)合成的，視頻中的他不斷介紹產(chǎn)品，聲音和形象都與本人極為相似，導(dǎo)致許多消費(fèi)者信以為真。

對(duì)此，張文宏回應(yīng)稱(chēng)，這樣假冒自己賣(mài)貨的賬號(hào)不止一個(gè)，而且一直在變，他已多次向平臺(tái)投訴，但違規(guī)賬號(hào)屢禁不止。

其實(shí)，張文宏的遭遇并非個(gè)例。近年來(lái)，通過(guò)AI深度偽造技術(shù)假冒名人的事件頻繁發(fā)生。

2024年國(guó)慶期間，網(wǎng)絡(luò)上出現(xiàn)了一些利用AI技術(shù)偽造雷軍聲音和形象的惡搞視頻，視頻中的“雷軍”使用不雅語(yǔ)言對(duì)堵車(chē)等多個(gè)話(huà)題進(jìn)行“銳評(píng)”，給雷軍本人帶來(lái)了不小的困擾。

2024年11月，江西一位65歲的女士為了資助其所謂的男朋友“靳東”拍攝電影，前往銀行欲辦理200萬(wàn)元的貸款。經(jīng)調(diào)查發(fā)現(xiàn)，該女士在短視頻平臺(tái)上認(rèn)識(shí)的“靳東”是騙子冒充的，騙子所發(fā)布的視頻也是由AI合成的。

“眼見(jiàn)非實(shí)”的AI技術(shù)存在破綻

所謂“AI換臉”，實(shí)際上是通過(guò)精準(zhǔn)識(shí)別人臉圖像，提取關(guān)鍵面部特征，并利用深度合成技術(shù)將這些特征與目標(biāo)人臉圖像進(jìn)行匹配、替換、融合。在此基礎(chǔ)上，通過(guò)背景環(huán)境渲染和合成聲音的添加，生成看起來(lái)非常真實(shí)的虛假視頻。這一技術(shù)也徹底顛覆了人們對(duì)于“眼見(jiàn)為實(shí)”的傳統(tǒng)認(rèn)知。

技術(shù)本身并無(wú)善惡，只是一些不法分子為了謀取私利，濫用此技術(shù)，將一些名人的臉替換到特定的視頻中，制造出虛假的內(nèi)容，實(shí)行詐騙。

盡管換臉AI模仿能力強(qiáng)，但是并非沒(méi)有破綻。通過(guò)AI合成的視頻，往往存在許多AI痕跡。比如，人物的面部表情、眼神和動(dòng)作可能不協(xié)調(diào)，尤其是在表情的細(xì)微變化和眼神的自然流轉(zhuǎn)上；也會(huì)出現(xiàn)視頻畫(huà)面不連貫、背景與人物融合不自然等情況；同時(shí)，還會(huì)出現(xiàn)語(yǔ)音、語(yǔ)速和口型不匹配的問(wèn)題。

此外，“AI換臉”也存在一定的局限性，如果進(jìn)行面部和聲音同時(shí)替換的操作，只能制作成視頻，無(wú)法做到實(shí)時(shí)直播。

如何防范“AI換臉”帶來(lái)的風(fēng)險(xiǎn)

當(dāng)前，“AI換臉”技術(shù)帶來(lái)的負(fù)面效應(yīng)越來(lái)越多，亟需采取多方面措施來(lái)應(yīng)對(duì)這些風(fēng)險(xiǎn)。

首先，平臺(tái)應(yīng)強(qiáng)化技術(shù)手段。嚴(yán)格審核賬號(hào)上傳發(fā)布的內(nèi)容，對(duì)視頻畫(huà)面進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析，如果發(fā)現(xiàn)存在虛假宣傳、誤導(dǎo)消費(fèi)者等行為，應(yīng)及時(shí)采取措施進(jìn)行干預(yù)。

其次，用戶(hù)需要提高警惕性和辨別能力。在觀看視頻時(shí)要保持謹(jǐn)慎，不要輕易相信視頻中的內(nèi)容。特別是對(duì)于涉及到金錢(qián)交易、個(gè)人信息等重要事項(xiàng)，要通過(guò)多種渠道進(jìn)行核實(shí)，避免上當(dāng)受騙。

此外，立法、執(zhí)法、司法力度仍需加強(qiáng)。目前，我國(guó)已經(jīng)出臺(tái)了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等法律法規(guī)，然而隨著技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的日益復(fù)雜，法律體系仍需進(jìn)一步深化、細(xì)化，以確保立法能夠緊跟技術(shù)發(fā)展的步伐，通過(guò)法治手段引導(dǎo)技術(shù)向善；在執(zhí)法、司法環(huán)節(jié)，嚴(yán)厲打擊利用“AI換臉”等技術(shù)進(jìn)行非法活動(dòng)的行為，減少AI違法犯罪對(duì)社會(huì)帶來(lái)的負(fù)面影響。

責(zé)編：戴蓉

一審：譚思敏

二審：朱曉華

三審：趙雨杉

來(lái)源：保密觀微信公眾號(hào)