大型語言模型 LLM：Context 工程是 AI 關鍵技能

告別Prompt工程，迎接Context工程：AI時代的關鍵技能

最近，AI圈子裡正流行一個新名詞：「Context工程」，它取代了「Prompt工程」，成為AI工程師們關注的焦點。簡單來說，Context工程的核心，就是在正確的時間、以正確的格式，提供給大型語言模型（LLM）完成任務所需的所有資訊和工具。

事件開頭短結論： Context工程是AI時代的必備技能，它比單純的Prompt工程更全面、更強大，是打造高效AI Agent的關鍵。

Context 工程是什麼？

Context工程，指的是設計和建構動態系統，以便在正確的時間，以正確的格式，提供LLM完成任務所需的所有資訊和工具。
簡單來說，Context工程關注的是：
* 系統性： Context 工程是一個系統，涉及到多個資訊來源的整合。
* 動態性： Context中的許多資訊是動態產生的，需要靈活的邏輯來建構最終的提示。
* 正確資訊： 提供LLM所需的正確資訊，避免「垃圾進，垃圾出」的窘境。
* 正確工具： 確保LLM擁有完成任務所需的工具，例如查詢資訊、採取行動等。
* 格式重要性： 與人類溝通一樣，與LLM溝通的格式也很重要。
* 任務可實現性： 確保LLM能夠合理地完成任務。

為什麼Context工程如此重要？

過去，AI開發者們專注於設計完美的Prompt，試圖透過巧妙的措辭來引導LLM產生更好的回應。但隨著AI應用程式變得越來越複雜，提供給AI完整且結構化的Context變得更加重要。
想像一下，一個AI助理需要根據一封電子郵件安排會議：

「廉價Demo」Agent： 它的Context很差，只看到使用者請求。它可能能調用LLM並獲得回應，但輸出毫無幫助且生硬。

「神奇」Agent： 它由豐富的Context提供支援。它的主要工作不是弄清楚如何回應，而是收集LLM完成目標所需的信息。在調用LLM之前，你擴展了Context，包括：
* 使用者想要安排會議的時間。
* 與會者的可用性。
* 會議的目的。
* 相關的日曆資訊。

結果，神奇Agent的回應就會像是：
「嗨，吉姆！我這邊明天一整天都排滿了。如果你週四上午有空，怎麼樣？我發送了邀請，請告知我是否可行。」

重點： 關鍵不在於更聰明的模型或更聰明的演算法，而在於為正確的任務提供正確的Context。
Agent失敗的原因不再僅僅是模型失敗，而是Context失敗。

Context 工程與 Prompt 工程的區別

Prompt工程側重於在單個文字串中構建完美的指令，而Context工程更廣泛。可以把Prompt工程看作是Context工程的一個子集。提供清晰、詳細的指令是Context工程的一部分，Prompt工程也是。

Context 工程的實用範例：
* 提供清晰的說明： 確保LLM理解任務的目標。
* 提供範例： 讓LLM了解期望的回應格式和風格。
* 使用工具： 讓LLM能夠使用外部工具，例如搜尋引擎、日曆等。
* 管理記憶： 讓LLM記住過去的對話，以提供更連貫的回應。

個人心得：

Context工程是建構成功的AI Agent的關鍵。未來，我們將看到更多工具和技術出現，以幫助AI開發者更好地管理和優化Context。

參考閱讀

• https://www.philschmid.de/context-engineering
• https://blog.langchain.com/the-rise-of-context-engineering/
• https://www.llamaindex.ai/blog/context-engineering-what-it-is-and-techniques-to-consider
• https://contextengineering.com/