學術交流新模式？alphaXiv 實驗一年，看研究社群如何互動
隨著學術論文預印本平台 arXiv 的普及，研究者對於開放討論空間的呼聲也越來越高。雖然現有的 Pre-Review、Plaudit 和 PubPeer 等平台在學術交流中扮演重要角色，但許多討論仍然散落在 Twitter 等社群媒體上，難以形成有效的交流。為了填補這個空缺，一個名為 alphaXiv 的平台應運而生，試圖在社群媒體和傳統同行評審之間，開闢一個新的交流空間。
alphaXiv 最初是史丹佛大學網路程式設計課程的期末專案，後來在校園內的一些課程和實驗室中作為內部評論工具分享。2023 年 12 月，決定向公眾開放。目前alphaXiv已公開運營一年，他們回顧了這一年來的主要收穫，並將評論活動和當前alphaXiv的接受度與最初關於此類論壇可能如何為科學界服務的預測和假設進行比較。
alphaXiv 的核心理念是讓評論直接附加在論文的特定章節上。開發者認為，這種設計有助於確保討論基於論文的具體內容，避免像社群媒體上常見的廣泛、譁眾取寵的言論。
平台公開後，至今已累積超過 5,000 則評論，主要集中在電腦科學和物理學領域。為了更好地理解評論的內容，alphaXiv 使用 Claude-3.5-Sonnet 將這些評論分為幾類：
- 技術澄清： 尋求理解論文中特定技術細節或程序的提問。
- 概念討論： 探索論文中的理論、含義或抽象概念。
- 錯誤報告： 指出論文中具體的錯誤、錯字或不一致之處。
- 研究拓展： 提出關於潛在未來方向或擴展的建議或問題。
- 方法論問題： 詢問為什麼做出某些研究設計選擇。
- 文獻連結： 將作品與現有研究聯繫起來或指出相關論文的評論。
- 讚揚： 評論強調了論文的具體優勢或貢獻。
- 實質性批評： 對論文的方法、結果或結論提出詳細的、基於證據的挑戰。
- 學術爭端： 關於署名、優先權或學術誠信的有爭議的不同意。
分析顯示，超過 50% 的評論屬於「技術澄清」和「研究拓展」類別。此外，許多評論表現出「理解行為」，也就是人們試圖在現有知識框架內理解和關聯新資訊的過程。這些評論通常簡潔且語氣中立，顯示 alphaXiv 的使用者傾向於客觀交流。
值得注意的是，alphaXiv 上初學者級別的評論較少。這可能與平台的匿名性有關。初級研究者可能不希望公開留下「初學者」問題的記錄，尤其是在他們快速進步的時候。此外，大型語言模型（LLM）的普及也為初學者提供了有效的理解工具。
儘管允許匿名評論可以吸引更多初學者，但也可能帶來管理上的挑戰。目前，alphaXiv 確保使用者對其評論承擔公開責任，使得管理工作相對簡單。
在詢問評論者的動機時，最常見的回答是希望公開記錄他們的評論，將 alphaXiv 視為一種公共帳本。許多使用者原本可以直接透過電子郵件聯繫作者，但他們主動選擇在公開場合留下想法，相信其他讀者會覺得他們的觀察很有幫助。
自 alphaXiv 成立以來，尤其是在物理和生物領域，出現了一股強烈的呼聲，希望 alphaXiv 能夠成為傳統科學期刊掠奪性同行評審流程的解決方案。為此，alphaXiv 上肯定有一些類似正式評論的評論。收到這些深入的評論後，作者通常會更新他們的論文以考慮相關的回饋。
在 alphaXiv 上，作者的回應目標是說服審稿人給予論文及格分數。因此，作者可能會更尊重審稿人的主張。在像 alphaXiv 這樣風險較低的平台上，批評者和作者之間的通信可能會更加坦誠，從而導致一些有趣的來回：
alphaXiv 的目標是取代同行評審嗎？目前還不是。雖然 alphaXiv 上有 FastProp 等例子，但在對取代同行評審做出全面聲明之前，還有許多問題需要回答。首先，alphaXiv 上的評論不是雙盲的（事實上，它們也不是「單盲」的）。雖然可以做出一些程序上的改變，但讓一個成功的同行評審系統運作起來所需的啟動能量遠高於僅在論壇上徵求意見。
alphaXiv 上的評論管理是一把特別鋒利的雙面刃。用 arXiv 科學主管 Steinn Sigurdsson 的話來說，alphaXiv 最糟糕的失敗模式之一將是「災難性的成功」——平台充斥著低質量的討論，需要大量的管理資源，最終會損害有意義的科學對話。
alphaXiv 上是否應該允許匿名評論，以便讓每個人都可以自由地發表意見，而不必擔心遭到報復？這是一個有爭議的問題，需要認真考慮。
在這些有爭議的情況下，發現在評論者願意將他們的名字附加到他們的陳述中之後，更輕鬆的方式會更好。alphaXiv 沒有實施嚴格的管理，而是讓社群投票系統引導可見性。按照 Reddit 的模型，累積投票少於 -3 的評論會被隱藏，但選擇查看它們的用戶仍然可以訪問它們。
alphaXiv 的討論主題非常廣泛。當一家中國核融合公司 ENN 的首席科學家發表了一份路線圖時，一些來自中國等離子體物理學界的研究人員批評了他們的說法。alphaXiv 只會在評論變得明顯不尊重時才會介入——ENN 論文的討論中並非如此。
alphaXiv 的一個獨特之處是其病毒式傳播的傾向，無論好壞。雖然之前已經有過幾次嘗試為論文建立評論介面，但能夠「直接在論文上」評論的想法似乎引起了共鳴。在過去的一年中，alphaXiv 有機地引起了不同社群的關注，看到不同的學術背景如何解釋 alphaXiv 的構建，真是令人著迷。
總體而言，alphaXiv 的成功程度超出了他們的預期。具有諷刺意味的是，alphaXiv 之所以在社群媒體上廣為流傳，正是因為如此多的學術社群都存在於這些多巴胺驅動的平台上。然而，很明顯，這些平台不應該成為嚴肅學術討論的場所——它們充斥著不相關的低質量內容。
回顧公開運營的第一年，alphaXiv 在學術評論領域開闢了一個獨特的利基市場。雖然它肯定沒有取代傳統的同行評審——這也不是他們最初的意圖——但它已經證明了在正式的同行評審和社群媒體討論之間擁有一個結構化學術討論專用空間的價值。
從主導平台的「理解」評論中可以清楚地看出，研究人員需要一個以專注、建設性的方式參與論文的空間。FastProp 和「難以忍受的存在緩慢」論文等案例也特別令人鼓舞，這些案例表明 alphaXiv 如何透過透明的社群回饋促進研究的迭代改進。
展望未來，alphaXiv 需要從一個通用的學術討論平台發展成為一個能夠識別和支持不同研究社群獨特需求的平台。量子計算研究人員應該能夠輕鬆地找到關於最新量子演算法的討論，就像等離子體物理學家應該能夠關注關於新核融合結果的辯論一樣。建立這些有成效的學術子社群，讓研究人員可以與他們子領域的其他人討論工作，這是他們的下一步。
參考閱讀
- https://www.alphaxiv.org/blog/one-year
- https://www.alphaxiv.org/overview/2407.02646
- https://www.alphaxiv.org/
- https://www.alphaxiv.org/overview/2406.06608
