第一階段:去行銷化與事實摘要
趨勢科技旗下企業AI資安品牌TrendAI提出警告,生成式AI的發展降低了網路犯罪的門檻,使攻擊更易於大規模複製。主要威脅包含:
- AI生成內容武器化: 攻擊者利用大型語言模型(LLM)結合低程式碼平台和工作流程編排工具,自動化詐騙流程,低成本生成假商品、假人設、假評論、假廣告、假新聞與釣魚素材。
- 深偽身分冒用: 北韓駭客組織利用LinkedIn、GitHub等公開資料,結合LLM和深偽技術,偽造遠距IT工作者身分,通過面試後竊取企業機敏資料或部署勒索軟體。此外,駭客也會設立假公司、假網站與假職缺,誘騙求職者下載惡意程式,竊取個資。
- AI原生惡意工具: 惡意程式不再依賴傳統惡意程式碼,而是透過惡意提示詞注入AI系統,誘導AI系統偏離原本任務,執行資料加密、資料外洩等危險動作。例如,LameHug惡意工具偽裝成AI圖像生成應用,內嵌LLM,可依照攻擊者提示詞建立暫存資料夾、搜尋文件並外傳資料。
TrendAI推出AI Gateway,可部署在資料庫、應用程式與大型語言模型之間,檢查提示詞並偵測惡意指令。AI Gateway可在輸入與輸出兩端進行控管,阻擋未授權的資料輸出。此外,TrendAI也有Model Scanner,可檢查模型本身是否存在弱點,並進行靜態與動態分析。
TrendAI的調查顯示,許多台灣企業在導入AI時,未充分評估資安風險,缺乏足夠的可視性與風險控管能力。
第二階段:社會影響力與倫理評估
1. 影響力總體定調
雙面刃: AI技術在提升效率的同時,也被網路犯罪者利用,降低了攻擊成本和門檻,對企業和社會帶來新的資安挑戰。雖然趨勢科技提出了相應的防禦方案,但企業內部的風險意識和治理能力仍需加強。
2. 關鍵影響分析(舉證)
- 「AI生成內容武器化,假商品、假評論、假新聞都能低成本量產」
- 【涉及層面】: 注意力經濟、資訊真實性、信任危機。
- 【社會衝擊分析】: AI生成內容的氾濫可能導致公眾難以辨別真假資訊,加劇社會對立和不信任感。企業品牌形象可能因虛假評論和廣告而受損,消費者權益也可能受到侵害。此外,假新聞的傳播可能影響選舉結果和社會穩定。
- 「在身分偽造方面,Ryan Flores特別提到北韓威脅組織假冒遠距IT工作者的案例。」
- 【涉及層面】: 勞動就業、身份驗證、國家安全。
- 【社會衝擊分析】: 深偽技術的應用可能導致遠距工作職位被不法分子利用,對企業內部安全構成威脅。同時,也可能造成人才市場的混亂,使企業難以找到真正的人才。更嚴重的是,國家級駭客可能藉此滲透企業,竊取機密資訊,威脅國家安全。
- 「惡意程式不一定有惡意程式碼,提示詞注入成AI新破口」
- 【涉及層面】: 數據隱私隱憂、系統安全、AI倫理。
- 【社會衝擊分析】: 提示詞注入攻擊可能導致AI系統洩露敏感數據,侵犯用戶隱私。此外,AI系統可能被誘導執行惡意操作,對企業和社會造成損害。這也凸顯了AI倫理的重要性,需要建立完善的AI治理框架,確保AI技術的應用符合倫理規範。
- 「74%的台灣受訪企業決策者坦言,過去曾在高層要求或市場競爭壓力下,被迫核准可能帶來資安風險的AI導入方案。」
- 【涉及層面】: 企業治理、風險管理、資安意識。
- 【社會衝擊分析】: 企業在追求AI技術的同時,往往忽略了潛在的資安風險。這種短視近利的行為可能導致企業遭受重大損失,甚至影響整個產業的發展。因此,企業需要建立完善的風險管理機制,加強資安意識,確保AI技術的應用安全可靠。
3. 盲點與反思
文章主要關注AI帶來的資安威脅,但忽略了以下潛在風險:
- AI技術的壟斷: 文章未提及大型科技公司在AI領域的壟斷地位,以及這種壟斷可能對創新和競爭造成的影響。
- AI技術的偏見: AI模型的訓練數據可能存在偏見,導致AI系統做出歧視性的決策。文章未提及如何解決AI偏見問題,確保AI技術的公平性和公正性。
- AI技術的濫用: AI技術可能被用於監控、審查和控制社會,侵犯公民自由和人權。文章未提及如何防止AI技術的濫用,保護公民權益。
- AI技術的能源消耗: 大規模AI模型的訓練和部署需要消耗大量的能源,對環境造成負擔。文章未提及AI技術的能源消耗問題,以及如何實現AI技術的可持續發展。
參考閱讀
北韓駭客靠Deepfake騙走遠距高薪!趨勢科技示警企業三大新威脅:假內容、深偽身分、惡意提示詞,風傳媒 ・ 57 分鐘前