Chatbot Arena 排名風波：誰在操控 AI 聊天機器人？

AI 聊天機器人排行榜風波：誰在操控你的視線？

近年來，AI 聊天機器人的發展突飛猛進，各種模型如雨後春筍般湧現。為了評估這些模型的優劣，許多平台推出了排行榜，其中最受關注的莫過於「Chatbot Arena」。這個平台基於使用者投票，讓大家可以比較不同模型的表現，並據此進行排名。然而，最近的一項研究揭露，這個排行榜可能並不如我們想像的那麼公正。

事件開頭短結論： Chatbot Arena 的 AI 聊天機器人排行榜，被發現可能受到大公司操弄，導致排行榜上的排名無法完全反映模型的真實能力，這對整個 AI 產業的發展都可能帶來負面影響。

事件重點：

• 大公司秘密測試： 研究指出，Meta、Google 和 OpenAI 等大公司，被允許在 Chatbot Arena 上秘密測試多個版本的 AI 模型，並只提交表現最好的版本，藉此提升排名。
• 數據分配不均： 這些大公司也獲得了 Arena 上大量的使用者互動數據，這些數據對於模型的訓練和改進至關重要，但其他規模較小的公司或研究機構，能取得的數據量卻遠遠不及。
• 模型默默下架： 許多較小型的模型，甚至被 Chatbot Arena 默默下架，這使得它們更難收集到足夠的數據來提升自己，形成惡性循環。
• 排行榜的局限性： 透過操控數據和測試，提升的排名，並不一定代表模型在其他方面的真實能力有所進步。

個人心得： 看到這樣的消息，確實讓人感到失望。Chatbot Arena 本來希望能為 AI 模型的評估提供一個公開、透明的平台，但如今卻可能被大公司利用，變成它們的「公關工具」。這不僅會誤導消費者，也會阻礙 AI 產業的公平競爭。

我們可以做些什麼？

• 提高警覺： 在參考排行榜時，不要盲目相信，而是要多方查證，了解模型的真實能力。
• 關注資訊透明度： 要求 Chatbot Arena 和其他排行榜平台，公開更多資訊，包括測試的規則、數據的分配方式，以及被下架的模型清單等等。
• 支持開放模型： 支持那些公開透明、願意分享數據的模型，鼓勵 AI 產業的開放和創新。

AI 聊天機器人的發展，對我們的生活有著深遠的影響。而建立一個公平、公正的評估體系，才能確保 AI 產業的健康發展。我們需要更積極地參與其中，才能避免被少數公司操控。

參考閱讀

• https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard
• https://lmarena.ai/
• https://openlm.ai/chatbot-arena/
• https://lmarena.ai/?leaderboard=