近日，奇安信集團發佈《2024人工智能安全報告》（以下簡稱《報告》）。《報告》顯示，2023年基於AI的深度僞造欺詐增長了3000％，基於AI的釣魚郵件增長了1000％；目前已發現多個有國家背景的APT組織，利用AI實施了10餘起網絡攻擊事件，但目前，業界對AI潛在風險的研究與重視程度仍遠遠不足，在積極擁抱大模型等人工智能技術之時，各界對其安全風險應保持警醒。

“AI是一種通用技術，通用就意味着既可以用來做好事，也可以被用來幹壞事”。《報告》認爲，具有巨大潛力的AI技術同時帶來兩大挑戰：一方面放大了現有威脅，比如釣魚郵件、惡意軟件等；另一方面引入了新型威脅，如AI自動化攻擊、AI深度僞造等。

奇安信威脅情報中心監測發現，各類基於AI的新型攻擊種類與手段不斷出現，包括深度僞造（Deepfake）、黑產大語言模型、惡意AI機器人、自動化攻擊等，在全球造成了嚴重危害。

《報告》認爲，AI與大語言模型本身伴隨着安全風險，業內對潛在影響的研究與重視程度仍遠遠不足。全球知名應用安全組織OWASP發佈大模型應用的十大安全風險，包括提示注入、數據泄露、沙箱不足和未經授權的代碼執行等。此外，因訓練語料存在不良信息，導致生成的內容不安全，正持續引發災難性的後果，危害國家安全、公共安全甚至個人安全，這些都亟須業內高度重視和積極應對。

《報告》從安全行業、監管機構、政企機構、網絡用戶等角度給出了應對AI威脅的建議。安全行業需要繼續發揮能力優勢，確保人工智能本身的安全性，並積極將人工智能用於安全防護；監管機構需要對AI潛在風險與影響保持持續關注，在制度和法規上及時提供支持；政企機構需及時部署AI安全框架和解決方案，以及AI安全評估服務和檢測工具，還要依託AI推動安全升級；網絡用戶在嘗試最新人工智能應用時，需要更新安全知識，養成良好的使用習慣。

面對AI網絡攻擊、AI武器化等日益嚴峻的安全威脅，《報告》認爲，AI技術將推動安全領域發生範式變革，新一代AI技術與大語言模型改變安全對抗格局，將會給地緣政治競爭和國家安全帶來深遠的影響，各國正在競相加強在人工智能領域的競爭，以獲得面向未來的戰略優勢。全行業需啓動人工智能網絡防禦推進計劃，包括利用防禦人工智能對抗惡意人工智能，扭轉“防禦者困境”。

奇安信AI安全專家認爲，一個影響深遠的新技術的出現，人們一般傾向於在短期內高估它的作用，而又在長期低估其影響。所以，無論是監管機構、安全行業還是政企機構，都需要積極擁抱潛力巨大的AI技術與大模型，同時審慎評估其影響的不確定性，確保監管與治理及時跟進。 （奇欣）