[科技快訊]央視 315 晚會揭 AI 大模型遭「投毒」，付費就能讓產品變 AI 標準答案？

第一階段：去行銷化與事實摘要

核心技術 (What)： 央視 315 晚會揭露了一種名為「GEO（生成式引擎最佳化）」的技術，被用於「投毒」AI 大模型。GEO 本質上是一種內容最佳化手段，旨在讓內容更容易被 AI 抓取和引用。然而，黑產利用 GEO 批量製造虛假資訊，污染 AI 模型的外部資訊來源，進而操控 AI 的推薦結果。

關鍵突破 (How)： 這種「投毒」手法並非直接入侵 AI 模型，而是透過在網路上大量散布虛假文章、評測、榜單等內容，誘導 AI 將這些假資訊視為可信資料。這與傳統的 SEO（搜尋引擎最佳化）污染類似，但針對的是 AI 模型的資訊來源。

應用場景 (Where/When)： 這種技術可能影響 AI 在各個領域的應用，尤其是在醫療、保健、金融、教育等高風險場景。目前尚不清楚具體落地時間，但已在部分 AI 應用中發現。

主導者 (Who)： 央視 315 晚會揭露了黑產利用 GEO 進行「投毒」的案例，並提及了名為「力擎 GEO 最佳化系統」的工具。文章中也提及了字節跳動旗下的豆包、阿里千問和 DeepSeek 等 AI 平台的回應。

第二階段：社會影響力與倫理評估

1. 影響力總體定調

雙面刃。 這項技術本身是內容最佳化工具，但被濫用後，成為操控 AI 資訊的手段，可能導致消費者被誤導，甚至危害公共安全。

2. 關鍵影響分析（舉證）

• 「這類操作最直接的風險，當然是消費者被誤導。當 AI 把本來不存在、沒有資質，或品質根本無法驗證的產品列入推薦結果，用戶很可能以為這是來自模型『客觀分析』後的答案，實際上卻只是被商業內容灌出來的排序結果。」
  • 【涉及層面】： 消費者權益、資訊真實性、注意力經濟。
  • 【社會衝擊分析】： 消費者可能因 AI 推薦而購買劣質或虛假產品，造成經濟損失。這也加劇了資訊不對稱，使得消費者更難辨別真偽，進而削弱了對 AI 資訊的信任。
• 「更麻煩的是，這種污染一旦規模化，影響就不只是一般商品推薦。醫療、保健、金融、教育甚至公共議題，都可能成為下一個目標。若 AI 在這些高風險場景裡引用了虛假資料，帶來的後果就不只是買錯產品，而可能涉及健康、財務甚至公共安全風險。」
  • 【涉及層面】： 公共安全、醫療健康、金融穩定、社會信任。
  • 【社會衝擊分析】： 在醫療、金融等領域，AI 引用虛假資訊可能導致錯誤診斷、投資損失，甚至引發社會恐慌。這將嚴重侵蝕社會對 AI 應用在關鍵領域的信心。
• 「主流模型顯然已經意識到內容污染問題，也有部署一定程度的防護與降權機制，但在演算法持續更新、內容農場大量生產、行銷黑產不斷迭代的情況下，這場攻防恐怕很難靠單一技術措施徹底解決。」
  • 【涉及層面】： 技術發展、資訊安全、監管挑戰。
  • 【社會衝擊分析】： 由於黑產的快速迭代，AI 模型的防禦措施可能永遠落後於攻擊。這意味著，即使 AI 平台不斷改進，消費者仍然面臨被誤導的風險。這也凸顯了監管機構在應對 AI 資訊污染方面的挑戰。

3. 盲點與反思

文章雖然提到了消費者應對方法，但未提及 AI 平台應承擔的責任。例如，平台應如何加強對資訊來源的審核，建立更完善的內容監管機制，以及如何對違規行為進行懲罰。此外，文章也輕描淡寫了 AI 資訊污染對社會公平的影響。例如，黑產可能利用 AI 操控輿論，加劇社會分化，甚至影響選舉結果。

參考閱讀

央視 315 晚會揭 AI 大模型遭「投毒」，付費就能讓產品變 AI 標準答案？,Yahoo Tech • 13 小時前

About the Author

n8n n8n

Administrator

View All Posts