生成式AI拿來“私人定製”惡趣味？

近日，浙江金華婺城網警成功偵破利用生成式AI技術，生成低俗國漫角色圖片、視頻並予以傳播的非法利用信息網絡案，抓獲犯罪嫌疑人陳某（33歲）。

“這是我看的國漫嗎？怎麼變成了這種不雅的樣子？”一名國漫愛好者在互聯網衝浪時被一賬號推送的圖片驚得目瞪口呆。點進去一看，這些圖片雖然保留了角色的面部特徵，但姿勢、衣着卻極其低俗露骨。該賬號公然打着“私人定製”、“衆籌更新”的旗號，招攬生意。意識到這種行爲嚴重侮辱了國漫角色，更涉嫌違法，該愛好者第一時間向金華婺城警方報案。

接警後，金華婺城網警迅速展開偵查。研判發現：該賬號背後隱藏着一條利用AI生成技術的黑色產業鏈，嫌疑人通過特定的技術手段，將公衆熟知的國漫角色“脫胎換骨”，生成不堪入目的內容並在網絡上大肆傳播。順着網絡線索層層追蹤，專案組很快鎖定了居住在異地的犯罪嫌疑人陳某。數名民警趕赴陳某住處實施抓捕。在對其住所進行搜查時，辦案民警在其電腦和硬盤中發現了大量用於生成低俗內容的AI模型文件、訓練數據以及生成的成品圖片和視頻。面對這些鐵證，陳某試圖狡辯。“我就是個技術宅，平時喜歡研究AI繪畫，自己練練手而已，怎麼就犯罪了？但與網警的技術對決中，陳某面對鐵證終於交代了犯罪事實。他原本對AI技術感興趣，後來發現網絡上有人對國漫角色的“另類”內容有需求，便動起了歪腦筋。他通過互聯網自學AI生成技術，使用無監督模型作爲底模，大量購買、訓練LORA模型。此後，陳某以“私人定製、衆籌、月更”爲噱頭，在網絡上發佈廣告，接收客戶指定的國漫角色，按照客戶要求的背景、穿着、動作、表情，利用AI技術“一鍵生成”低俗內容，並從中牟取非法利益。

“技術本無罪，但用錯了地方就是犯罪。”辦案民警指出，犯罪嫌疑人利用AI技術打破虛擬與現實的邊界，將深受大衆喜愛的國漫角色惡俗化，嚴重污染了網絡環境。

目前，陳某已被依法採取刑事強制措施，案件正進一步偵辦中。

網警提示

一、壓實平臺責任，嚴把內容關口。各大互聯網平臺應加強對生成式AI內容的審覈力度，升級圖像識別與過濾系統，對利用AI技術生成的低俗、色情及侵權內容做到及時發現、快速處置，堅決斬斷非法傳播鏈條。

二、堅守技術倫理，規範AI應用。AI技術開發者和使用者應樹立正確的技術倫理觀，明確技術應用的邊界。技術探索不能凌駕於法律和道德之上，切勿將先進技術作爲製造低俗信息、博取流量或非法牟利的工具。

三、敬畏法律紅線，切勿以身試法。網絡不是法外之地，製作、傳播低俗、淫穢物品，無論手段是傳統拍攝還是AI生成，均涉嫌違法。利用AI技術從事違法犯罪活動，必將受到法律的嚴懲。

四、提高網絡素養，自覺抵制低俗。廣大網民在享受AI技術帶來便利的同時，應提高辨別能力，自覺抵制和舉報網絡上的低俗內容。共同維護清朗的網絡空間，保護未成年人身心健康。

素材 | 浙江金華網警