推薦系統新突破：結合LLM的超參數Bandit演算法，提升串流體驗
隨著網路產業的蓬勃發展，資訊爆炸已成為日常。推薦系統應運而生，成為緩解資訊過載的關鍵。然而，在串流推薦系統中，使用者偏好會隨著時間推移而動態變化，例如，使用者在工作日早上傾向於瀏覽辦公用品，週末則偏好休閒娛樂內容。傳統的推薦方法往往將時間視為單純的標籤，忽略了時間與使用者偏好之間的關聯性，導致推薦效果不佳。此外，在線上學習的初期，演算法的探索與利用效率也常常不足，進而影響使用者的整體體驗。
事件開頭短結論： 本文提出了一種名為 HyperBandit+ 的新演算法，它結合了超網路（Hypernetwork）和大型語言模型（LLM），以解決串流推薦系統中，使用者偏好隨時間變化以及線上學習初期探索效率不足的問題。實驗結果顯示，HyperBandit+ 在推薦準確度方面優於現有方法，為使用者帶來更優質的串流體驗。
事件重點：
- 時間感知超網路（Time-aware hypernetwork）： HyperBandit+ 運用超網路，將時間資訊作為輸入，生成使用者偏好矩陣的參數。這使得演算法能夠捕捉使用者偏好的週期性變化，例如，一天中的不同時段或一周的不同天數。
- LLM 輔助熱啟動機制（LLM Start）： 為了提高線上學習初期的探索效率，HyperBandit+ 採用 LLM 進行多步驟資料擴增，模擬真實的互動資料，為 Bandit 策略提供熱啟動參數。
- 低秩分解（Low-rank factorization）： 為了滿足即時串流推薦的需求，HyperBandit+ 採用低秩分解來降低超網路的訓練複雜度，從而提升演算法的效率。
HyperBandit+ 演算法的核心機制
HyperBandit+ 演算法主要分為離線和線上兩個階段。
- 離線階段： 此階段主要進行時間週期嵌入計算、LLM 增強嵌入生成以及 LLM Start 機制。
- 時間週期嵌入： 將時間資訊（例如星期幾、一天中的時段）轉換為向量嵌入，以便超網路接收。
- LLM 增強嵌入： 利用 LLM 增強使用者和商品的上下文特徵，提高推薦的準確性。
- LLM Start 機制： 使用 LLM 生成模擬的互動數據，為 Bandit 策略提供初始參數，提高探索與利用的效率。
- 線上階段： 此階段是演算法的核心，包括推理和訓練兩個步驟。
- 推理步驟： 超網路基於當前時間週期嵌入，生成使用者偏好矩陣。Bandit 策略則根據使用者的上下文特徵和商品特徵，以及使用者偏好矩陣，推薦最合適的商品。
- 訓練步驟： Bandit 策略根據使用者回饋，使用嶺迴歸（Ridge regression）更新內部參數。超網路則以 mini-batch 的方式訓練，以動態調整使用者偏好矩陣。
個人心得：
HyperBandit+ 演算法巧妙地結合了超網路、LLM 和低秩分解等先進技術，有效地解決了串流推薦系統中，使用者偏好動態變化以及線上學習初期探索效率不足的問題。 尤其是 LLM Start 機制，透過生成模擬的互動資料，讓演算法在線上學習初期就能夠快速收斂，這對於提升使用者體驗至關重要。 此外，低秩分解的運用也確保了演算法的即時性，使其能夠滿足串流推薦的需求。
實驗結果與討論
研究團隊在短影片推薦和興趣點（POI）推薦的資料集上進行了廣泛的實驗。實驗結果表明，HyperBandit+ 在累積獎勵方面顯著優於其他基準方法，尤其是在初始階段。這驗證了 LLM Start 機制在提高探索與利用效率方面的有效性。此外，低秩分解也有效降低了超網路的訓練時間，進一步提高了演算法的效率。
總結：
HyperBandit+ 演算法為串流推薦系統帶來了新的突破，它有效地整合了 LLM 和超網路，並且在使用者偏好建模、探索與利用效率、以及演算法的即時性方面都取得了顯著的進展。 相信這項研究將為推薦系統的發展帶來新的啟發，並且為使用者帶來更優質的個人化推薦體驗。
