告別Prompt工程：迎接「情境工程」的時代
事件開頭短結論：隨著AI技術的演進，如何有效地管理AI模型的「注意力預算」成為關鍵。這篇文章探討了「情境工程」（Context Engineering）的概念，強調精心設計輸入AI模型的資訊，以提升AI代理的效能。
身為科技部落客，我最近注意到AI領域出現了一個新名詞：「情境工程」。它取代了過去備受關注的「提示工程」（Prompt Engineering），成為了AI應用開發的新焦點。簡單來說，Prompt工程著重於寫出好的提示詞，而情境工程則專注於如何設計並維護最佳的資訊集合，讓AI模型在有限的「注意力」下，也能產生我們期望的行為。
事件重點：
- 注意力預算的限制： AI模型，如同人類，在處理大量資訊時容易分心或混亂。
- 情境工程的重要性： 透過精確地選擇輸入AI模型的資訊，能最大限度地提高模型產出符合預期的結果。
- 有效情境的組成： 系統提示、工具、範例、訊息歷史和情境檢索等都是關鍵。
- 長時任務的挑戰與解方： 針對需要長時間運作的AI任務，壓縮、筆記、和多代理架構是重要的策略。
為什麼情境工程如此重要？就像我們人類一樣，AI模型也有其「注意力預算」。模型在分析大量的資訊時，需要耗費一定的「注意力」。當輸入的資訊越多，模型就越容易「分心」，進而降低其準確性。這就是所謂的「情境腐爛」（Context Rot）現象。
那麼，如何打造有效的「情境」呢？
- 系統提示（System Prompts）： 好的提示詞應該簡潔明瞭，用詞直接。避免過於複雜的硬編碼邏輯，也要避免過於模糊的引導。
- 工具（Tools）： 工具是AI代理與環境互動的橋樑，設計良好的工具應當提高效率，並鼓勵AI代理做出更有效率的行為。
- 範例（Examples）： 提供多樣化的範例，能讓AI模型更快理解你想要的行為。
- 情境檢索與代理搜尋： 讓AI代理自主地檢索和利用資訊，如同人類使用檔案系統和書籤一樣。
- 長時任務的情境工程： 針對需要長時間運作的AI任務，有三種方法：
- 壓縮（Compaction）： 定期總結之前的資訊，並重新開始新的情境。
- 結構化筆記（Structured Note-taking）： 讓AI代理建立自己的筆記，並在需要時調用。
- 多代理架構（Multi-agent architectures）： 建立多個專注於特定任務的子代理，協同工作。
個人心得：
我覺得情境工程的核心，就是把控AI模型的「注意力」。就像我們寫文章一樣，要避免冗長無用的文字，而是要精確地傳達重點。未來，隨著AI模型的進步，我們會看到更智慧的AI代理，它們會更自主地操作，而情境工程的重點，也將是如何更有效地利用有限的資訊，來實現我們所期望的結果。
