RAG機器人倒數！ 手把手教學，新手也能打造問答機器人！

RAG 技術大解密：手把手教你打造問答機器人，新手也能輕鬆上手！

哈囉大家好！你是否對最近很夯的「RAG」（Retrieval-Augmented Generation，檢索增強生成）技術感到好奇，卻又覺得它好像很複雜、難以入門呢？別擔心！今天這篇文章就是要用最簡單、最貼近台灣讀者的語言，帶你一步一步了解 RAG 的核心概念，並教你如何從零開始，打造一個屬於自己的 RAG 問答機器人。

什麼是 RAG？為什麼它這麼重要？

想像一下，你想要開發一個可以回答使用者問題的 AI 機器人。傳統的做法是訓練一個大型語言模型（LLM），讓它記住所有可能的知識。但這種方法有幾個缺點：

• 訓練成本高昂： 訓練 LLM 需要大量的資料和計算資源。
• 知識更新困難： 當有新的資訊出現時，需要重新訓練整個模型。
• 幻覺問題： LLM 有時會產生不正確或捏造的答案，也就是所謂的「幻覺」。

RAG 技術的出現，就是為了解決這些問題。簡單來說，RAG 結合了「檢索」（Retrieval）和「生成」（Generation）兩個步驟：

1. 檢索： 當使用者提出問題時，RAG 系統會先從一個外部知識庫中，檢索出與問題相關的文件或段落。
2. 生成： 然後，RAG 系統會將檢索到的資訊提供給 LLM，讓它根據這些資訊生成答案。

這樣做的好處是：

• 降低訓練成本： LLM 不需要記住所有知識，只需要學習如何利用外部知識庫。
• 知識更新容易： 只需要更新外部知識庫即可，不需要重新訓練模型。
• 減少幻覺問題： LLM 的答案有外部知識庫作為依據，比較不容易產生錯誤的資訊。

舉個例子，假設你想問一個 RAG 系統：「輝達（NVIDIA）的最新財報是什麼時候發布的？」。傳統的 LLM 可能需要記住輝達的所有相關資訊，才能回答這個問題。但 RAG 系統會先從網路上或輝達的官方網站上，檢索出最新的財報新聞稿，然後將這份新聞稿提供給 LLM，讓它從中提取出發布日期。

RAG 的應用場景有哪些？

RAG 技術的應用非常廣泛，以下是一些常見的例子：

• 問答機器人： 可以回答使用者關於產品、服務或特定領域的知識的問題。
• 智慧客服： 可以根據使用者提出的問題，提供相關的產品資訊、使用說明或故障排除建議。
• 知識管理： 可以幫助企業員工快速找到所需的資訊，提高工作效率。
• 內容創作： 可以根據使用者提供的關鍵字或主題，生成文章、報告或簡報。

如何開始學習 RAG？

如果你是 RAG 的初學者，建議你可以從以下幾個步驟開始：

1. 了解 RAG 的基本概念： 閱讀相關的文章、部落格或論文，了解 RAG 的原理、優缺點和應用場景。
2. 選擇合適的工具和框架： 有許多開源的 RAG 工具和框架可以使用，例如 LangChain、Haystack 等。你可以根據自己的需求和技術背景，選擇適合自己的工具。
3. 動手實作： 透過實際的專案，來學習 RAG 的技術。你可以從簡單的範例開始，例如使用 RAG 來回答關於特定主題的問題。
4. 持續學習： RAG 是一個快速發展的領域，不斷有新的技術和方法出現。你需要持續學習，才能跟上最新的發展。

實戰演練：打造一個簡單的 RAG 問答機器人

現在，讓我們一起來打造一個簡單的 RAG 問答機器人。我們會使用 Python 和一些常用的函式庫，例如 openai、numpy 和 matplotlib。

首先，你需要準備以下材料：

• OpenAI API 金鑰： 你需要向 OpenAI 申請一個 API 金鑰，才能使用 OpenAI 的 LLM。
• 知識庫： 你需要準備一個包含你想要回答的問題的知識庫。你可以使用文字檔、PDF 檔或任何其他格式的檔案。
• Python 環境： 你需要在你的電腦上安裝 Python 和一些必要的函式庫。

接下來，你可以按照以下步驟來建立你的 RAG 問答機器人：

1. 載入知識庫： 首先，你需要將你的知識庫載入到記憶體中。你可以使用 Python 的檔案讀寫功能來做到這一點。

def load_data(file_path):
    """Loads data from a text file."""
    with open(file_path, 'r', encoding='utf-8') as file:
        data = file.read()
    return data

1. 分割知識庫： 為了提高檢索效率，你需要將知識庫分割成更小的段落，也就是所謂的「chunk」。你可以根據句子的長度、段落的結構或任何其他標準來分割知識庫。

def chunk_data(data, chunk_size=200, overlap=20):
    """Splits text into smaller chunks with overlap."""
    chunks = []
    start = 0
    while start < len(data):
        end = start + chunk_size
        if end > len(data):
            end = len(data)
        chunk = data[start:end]
        chunks.append(chunk)
        start += (chunk_size - overlap)
    return chunks

1. 建立 Embedding： 接下來，你需要將每個 chunk 轉換成一個 Embedding 向量。Embedding 向量是一個 numerical 的表示方式，可以捕捉到 chunk 的語義信息。你可以使用 OpenAI 的 Embedding API 來建立 Embedding。

import openai
import numpy as np
import os

openai.api_key = os.getenv("OPENAI_API_KEY") # 記得設定環境變數

def get_embedding(text, model="text-embedding-ada-002"):
   text = text.replace("\n", " ")
   return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']

# 範例:
# embeddings = [get_embedding(chunk) for chunk in chunks]

1. 建立 Vector Store： 為了快速檢索相關的 chunk，你需要將 Embedding 向量儲存到一個 Vector Store 中。Vector Store 是一個特殊的資料庫，可以高效地搜尋與查詢向量相似的向量。你可以使用 numpy 來建立一個簡單的 Vector Store。

def cosine_similarity(a, b):
    """Calculates the cosine similarity between two vectors."""
    dot_product = np.dot(a, b)
    magnitude_a = np.linalg.norm(a)
    magnitude_b = np.linalg.norm(b)
    return dot_product / (magnitude_a * magnitude_b)

def retrieve_relevant_chunks(query, embeddings, chunks, top_n=3):
    """Retrieves the top N most relevant chunks for a given query."""
    query_embedding = get_embedding(query)
    similarities = [cosine_similarity(query_embedding, emb) for emb in embeddings]

    # Sort chunks by similarity score
    sorted_chunks = sorted(zip(similarities, chunks), reverse=True)

    # Return the top N chunks
    top_chunks = [chunk for similarity, chunk in sorted_chunks[:top_n]]
    return top_chunks

1. 檢索相關的 chunk： 當使用者提出問題時，你需要將問題轉換成一個 Embedding 向量，然後在 Vector Store 中搜尋與該向量相似的向量。Vector Store 會返回與問題最相關的 chunk。

2. 生成答案： 最後，你需要將檢索到的 chunk 提供給 LLM，讓它根據這些資訊生成答案。你可以使用 OpenAI 的 Completion API 來生成答案。

def generate_answer(query, context, model="gpt-3.5-turbo"):
    """Generates an answer using the OpenAI Chat API."""
    messages = [
        {"role": "system", "content": "You are a helpful assistant. Use the following context to answer the user's question."},
        {"role": "user", "content": f"Context: {context}\n\nQuestion: {query}"}
    ]
    response = openai.ChatCompletion.create(
        model=model,
        messages=messages,
        temperature=0.7
    )
    return response['choices'][0]['message']['content']

錯誤排除指南：

在實作 RAG 的過程中，你可能會遇到一些問題。以下是一些常見的問題和解決方案：

• 檢索到的 chunk 不相關： 這可能是因為你的 Embedding 模型不夠好，或者你的 Vector Store 沒有正確地索引 Embedding 向量。你可以嘗試使用不同的 Embedding 模型，或者調整 Vector Store 的參數。
• 生成的答案不正確或不完整： 這可能是因為檢索到的 chunk 不夠全面，或者 LLM 無法正確地理解 chunk 的內容。你可以嘗試檢索更多的 chunk，或者使用更強大的 LLM。
• 效能問題： RAG 的效能可能會受到知識庫的大小、Embedding 模型的複雜度和 LLM 的速度的影響。你可以嘗試使用更高效的資料結構、優化 Embedding 模型或使用更快的 LLM。

進階 RAG 技術：

除了基本的 RAG 技術之外，還有許多進階的技術可以提高 RAG 系統的效能。以下是一些常見的進階技術：

• 語義 Chunking： 根據 chunk 的語義相似度來分割知識庫，可以提高檢索的準確性。
• 查詢轉換： 對使用者的問題進行轉換，例如擴展、重寫或分解，可以提高檢索的召回率。
• 重新排序： 對檢索到的 chunk 進行重新排序，可以提高答案的相關性。
• 上下文壓縮： 對檢索到的 chunk 進行壓縮，可以減少 LLM 的輸入長度，提高生成的速度。

推薦資源：

如果你想更深入地學習 RAG 技術，以下是一些推薦的資源：

• All RAG Techniques: A Simpler, Hands-On Approach： 這個 GitHub 專案提供了一系列 Jupyter Notebook，詳細介紹了各種 RAG 技術的實作方法。網址：https://github.com/FareedKhan-dev/all-rag-techniques (請確認網址是否正確)
• LangChain 文件： LangChain 是一個流行的 RAG 框架，它的文件提供了豐富的資訊和範例。網址：https://www.langchain.com/ (請確認網址是否正確)
• Haystack 文件： Haystack 是一個另一個 RAG 框架，它也提供了豐富的資訊和範例。網址：https://haystack.deepset.ai/ (請確認網址是否正確)

結語：

RAG 技術是一個非常有潛力的領域，它可以幫助我們打造更聰明、更實用的 AI 應用。如果你對 RAG 感興趣，不妨從這篇文章開始，一步一步地學習和實作，相信你一定可以有所收穫！

希望這篇文章對你有所幫助！如果你有任何問題或建議，歡迎在留言區留言。

祝你學習愉快！

參考閱讀

https://github.com/FareedKhan-dev/all-rag-techniques