周末·提醒丨移花接木、制造恐慌 別再被一鍵式AI造謠文“套路”了

  央視新聞客戶端   2025-04-19 20:24:17

前幾天,網(wǎng)上一則“杭州濱江區(qū)發(fā)生惡性刑事案”的文章引發(fā)網(wǎng)友們的關(guān)注,發(fā)布者是一位名叫“神秘風(fēng)鈴Y4”的網(wǎng)民,這篇文章內(nèi)容詳細(xì),有頭有尾,發(fā)布者還稱“嫌疑人已被刑拘”,而且還配發(fā)了相關(guān)圖片。發(fā)生在杭州的惡性事件,還有圖片,這則消息迅速就被網(wǎng)友傳播開(kāi)來(lái)。4月10日,杭州市濱江區(qū)公安分局網(wǎng)絡(luò)警察大隊(duì)民警在巡查時(shí),在某資訊網(wǎng)站發(fā)現(xiàn)了這篇文章。那么事實(shí)真的如此嗎?我們一起來(lái)揭開(kāi)真相。

用AI造謠還提示AI

“不要被識(shí)別出是AI文”

浙江杭州市濱江區(qū)公安分局網(wǎng)絡(luò)警察大隊(duì)民警 鮑王杰:其中提及杭州濱江某外賣(mài)員在送外賣(mài)時(shí),在樓道內(nèi)發(fā)現(xiàn)一張寫(xiě)著救救我的帶血紙條,然后外賣(mài)員假借送錯(cuò)門(mén)發(fā)現(xiàn)了被害人,并協(xié)助警方破獲了一起非法拘禁案件,那么根據(jù)我們的核實(shí),發(fā)現(xiàn)在4月7日凌晨,杭州濱江并沒(méi)有發(fā)生相關(guān)的惡性案件,該則信息是完全虛構(gòu)的。

民警于是在溫州市蒼南縣找到了賬號(hào)使用者謝某某,據(jù)謝某某交代,他發(fā)布這篇虛假警情的文章,主要是為了博取關(guān)注和流量,為了順利通過(guò)網(wǎng)站審核,他在給AI生成工具的提示詞中還特地強(qiáng)調(diào)了“不要被平臺(tái)識(shí)別出是AI文,一定要有人工潤(rùn)色感”。

浙江杭州市濱江區(qū)公安分局網(wǎng)絡(luò)警察大隊(duì)民警 鮑王杰:嫌疑人是多次優(yōu)化了AI提示詞,要求AI根據(jù)近期熱點(diǎn)進(jìn)行編輯,不能讓平臺(tái)識(shí)別出該文章是由AI生成的,并要求AI要提供一些人為的潤(rùn)色感,以增強(qiáng)該文章的準(zhǔn)確性,該謠言自4月9日晚發(fā)布至11日被我們查處,被轉(zhuǎn)發(fā)點(diǎn)贊了上百余次。

民警發(fā)現(xiàn),除了這篇文章外,謝某某賬號(hào)里還有多篇同類(lèi)型的由AI生成的虛假信息,根據(jù)《中華人民共和國(guó)治安管理處罰法》第二十五條第一項(xiàng)規(guī)定,杭州濱江警方依法對(duì)謝某某作出行政處罰,并責(zé)令其刪除全部不實(shí)信息。

浙江杭州市濱江區(qū)公安分局網(wǎng)絡(luò)警察大隊(duì)民警 鮑王杰:根據(jù)《中華人民共和國(guó)治安管理處罰法》第二十五條之規(guī)定散布謠言擾亂公共秩序的,處五日以上十日以下拘留,可以并處五百元以下罰款,情節(jié)較輕的處五日以下拘留或五百元以下罰款。

公安部揭秘AI謠言兩大“套路”

AI技術(shù)在文本生成、圖片創(chuàng)作等方面的應(yīng)用越來(lái)越廣泛,輸入幾個(gè)關(guān)鍵詞即可快速生成一篇文章或一幅圖片。而一些網(wǎng)民為博眼球、蹭熱度,卻將AI技術(shù)用以編造“假消息”,以此來(lái)獲得網(wǎng)民關(guān)注和點(diǎn)贊,進(jìn)而實(shí)現(xiàn)流量變現(xiàn)。公安部網(wǎng)安局日前針對(duì)AI謠言進(jìn)行了梳理。

發(fā)現(xiàn)此類(lèi)謠言通常有兩大“套路”

  • 第一種是“移花接木”演大戲,AI技術(shù)能把“老照片”“老視頻”變成“新事故”,此前就有某網(wǎng)民在地震期間,用AI把之前的AI視頻P成“廢墟下的戴帽男孩”,騙走網(wǎng)友眼淚。
  • 第二種是“煙霧彈”制造恐慌,不少網(wǎng)民為博眼球,利用AI合成火災(zāi)、地震等災(zāi)害信息并發(fā)布到網(wǎng)絡(luò)平臺(tái),造成不良社會(huì)影響。

利用AI快速生成降低謠言編造門(mén)檻

專(zhuān)家表示,隨著AI技術(shù)的不斷普及,編造網(wǎng)絡(luò)謠言的門(mén)檻越來(lái)越低,這就讓一些人借機(jī)獲取流量并非法牟利。

北京航空航天大學(xué)法學(xué)院副教授 趙精武:公安部在2024年通報(bào)過(guò)一起比較典型的利用AI批量造謠的案例,MCN機(jī)構(gòu)通過(guò)運(yùn)營(yíng)自媒體賬號(hào)842個(gè),組織團(tuán)隊(duì)利用AI工具,一天可以生成4000-7000篇網(wǎng)絡(luò)虛假信息。

專(zhuān)家表示:這類(lèi)短期內(nèi)利用AI快速生成海量?jī)?nèi)容不同的虛假信息,降低了謠言編造門(mén)檻,可以讓機(jī)構(gòu)迅速獲取流量并借此牟利。

北京航空航天大學(xué)法學(xué)院副教授 趙精武:在AI技術(shù)加持下,虛假信息的真?zhèn)涡愿与y以辨別,“有圖已經(jīng)未必有真相”;甚至有些人開(kāi)始利用“社交機(jī)器人”實(shí)現(xiàn)“一鍵式”自動(dòng)發(fā)布和傳播網(wǎng)絡(luò)虛假信息。很多MCN機(jī)構(gòu)之所以這樣做是為了通過(guò)人為制造大量熱點(diǎn)事件實(shí)現(xiàn)引流并增加關(guān)注度,并根據(jù)網(wǎng)絡(luò)虛假信息的發(fā)布數(shù)量和流量獲取經(jīng)濟(jì)利益。

專(zhuān)家同時(shí)表示,網(wǎng)絡(luò)虛假信息傳播等問(wèn)題會(huì)因?yàn)锳I等數(shù)字技術(shù)發(fā)展而發(fā)生異化,這些虛假信息因?yàn)椤坝稀绷瞬糠质鼙姷那榫w,所以會(huì)循環(huán)反復(fù)、持續(xù)不斷地出現(xiàn),使得網(wǎng)絡(luò)虛假信息治理活動(dòng)成為“持久戰(zhàn)”。

AI創(chuàng)作者須牢記三道法律“防火墻”

隨著AI的普及,作品發(fā)布的門(mén)檻大幅度降低,很多網(wǎng)民從“觀眾”轉(zhuǎn)變?yōu)椤皠?chuàng)作者”。AI不是不能用,而是在于怎么用。公安部網(wǎng)安局也提醒AI創(chuàng)作者,要牢記三道法律“防火墻”:

  • 一是《生成式人工智能服務(wù)管理暫行辦法》明確禁止發(fā)布利用AI生成虛假信息,違規(guī)者將面臨平臺(tái)封禁、罰款等處罰。
  • 二是《中華人民共和國(guó)治安管理處罰法》規(guī)定:散布謠言擾亂公共秩序者,最高可處10日拘留。
  • 三是《中華人民共和國(guó)刑法》規(guī)定:編造虛假險(xiǎn)情、疫情、災(zāi)情等信息,嚴(yán)重?cái)_亂社會(huì)秩序的,最高可判7年有期徒刑。

需對(duì)AI信息服務(wù)提供者施加必要注意義務(wù)

專(zhuān)家表示,對(duì)于此類(lèi)信息傳播活動(dòng),除了需要延續(xù)既有的網(wǎng)絡(luò)虛假信息治理機(jī)制之外,還需要重點(diǎn)對(duì)AI信息服務(wù)提供者施加必要的注意義務(wù),要求其在生成內(nèi)容階段針對(duì)“誘導(dǎo)生成謠言”“內(nèi)容明顯失真”等情況設(shè)置相應(yīng)的內(nèi)容屏蔽機(jī)制,并以彈窗或其他方式提醒用戶合理合法使用AI信息服務(wù)。

責(zé)編:楊天朗

一審:肖秀芬

二審:陳永剛

三審:文鳳雛

來(lái)源:央視新聞客戶端

我要問(wèn)