1-bit AI 近了！BitNet.cpp入門，讓你的電腦也能跑LLM，別錯過！

讓AI更親民！台灣讀者入門指南：BitNet.cpp，CPU上的高效能1-bit LLM推論框架

嘿，各位熱愛AI的台灣朋友們！今天我們要來聊聊一個超酷的新技術，它能讓大型語言模型（LLM）在你的電腦上跑得更快、更省電，而且只需要一點點的資源！這就是 BitNet.cpp，一個專為1-bit LLM打造的推論框架。聽起來很複雜？別擔心，我們會用最簡單的方式帶你入門！

什麼是BitNet.cpp？ 為什麼它很重要？

想像一下，你想要在自己的電腦上玩最新的AI模型，但你的電腦不夠力，跑不動那些動輒幾十億、甚至上百億參數的模型。BitNet.cpp就是來解決這個問題的！

簡單來說，BitNet.cpp 是一個專門用來執行 1-bit LLM 的框架。什麼是1-bit LLM？ 就是模型裡面的參數，不再像傳統模型一樣使用32位元或16位元來表示，而是只用1位元（也就是0或1）來表示。 這樣做的好處是：

• 模型更小： 1位元表示法大幅減少了模型的大小，讓它更容易儲存和傳輸。
• 速度更快： 運算時只需要處理0和1，可以大幅提升運算速度。
• 更省電： 簡化的運算也意味著更低的能源消耗。

BitNet.cpp 針對 CPU 進行了優化，可以在沒有高階 GPU 的情況下，也能夠高效地執行1-bit LLM。 這對於想要在本地端執行 AI 模型，但又不想花大錢升級硬體的台灣使用者來說，絕對是一大福音！

為什麼重要？

• 本地AI普及化： 讓更多人可以在自己的電腦上使用大型語言模型，不需要依賴雲端服務。
• 隱私保護： 在本地端執行模型，可以保護你的資料隱私，不用擔心資料被傳到雲端。
• 邊緣運算： 讓AI模型可以在資源有限的裝置上執行，例如手機、嵌入式系統等，實現更多應用場景。

BitNet.cpp的優勢：效能實測

參考資料提到，BitNet.cpp 在 CPU 上的效能表現非常亮眼：

• ARM CPU（例如Apple M系列晶片）： 速度提升 1.37倍到 5.07倍，節省 55.4% 到 70.0% 的能源。
• x86 CPU（例如Intel處理器）： 速度提升 2.37倍到 6.17倍，節省 71.9% 到 82.2% 的能源。

更令人驚豔的是，BitNet.cpp 甚至可以在單顆 CPU 上運行 100B 參數的 BitNet b1.58 模型，並且達到接近人類閱讀的速度（每秒 5-7 個 token）。這表示，你可以在自己的電腦上，以可接受的速度，體驗到大型語言模型的強大威力！

BitNet.cpp 怎麼用？ 初學者也能輕鬆上手

雖然BitNet.cpp 聽起來很厲害，但其實上手並不難。 讓我們一步一步來：

1. 環境準備：

首先，你需要準備好以下工具：

• Python： 建議使用 Python 3.9 或更新版本。
• CMake： 版本要 3.22 或更新。
• Clang： 編譯器，版本要 18 或更新。
• Conda (建議): 一個方便的套件管理工具，可以幫助你管理 Python 的各種函式庫。

Windows 使用者要注意：

• 你需要安裝 Visual Studio 2022，並且在安裝時勾選以下選項：
  • 使用 C++ 的桌面開發
  • 適用於 Windows 的 C++ CMake 工具
  • 適用於 Windows 的 Git
  • 適用於 Windows 的 C++ Clang 編譯器
  • LLVM 工具集的 MS-Build 支援 (clang)
• 記得使用 “適用於 VS2022 的開發人員命令提示字元 / PowerShell” 來執行後續的指令。

Debian/Ubuntu 使用者：

• 可以使用自動安裝腳本來下載 Clang：

bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

2. 安裝步驟：

打開你的終端機（Terminal）或命令提示字元，按照以下步驟操作：

# 1. 克隆 BitNet.cpp 程式碼
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

# 2. 建立並啟用一個新的 Conda 環境 (建議)
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp

# 3. 安裝必要的 Python 函式庫
pip install -r requirements.txt

# 4. 下載模型並設定環境
# 先手動下載模型到 models/BitNet-b1.58-2B-4T
# 例如使用 Hugging Face Hub 的指令:
# huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
# 接著運行環境設定腳本
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

指令說明：

• git clone --recursive https://github.com/microsoft/BitNet.git`：這會把 BitNet.cpp 的程式碼下載到你的電腦裡。–recursive` 參數可以確保所有子模組都被正確下載。
• conda create -n bitnet-cpp python=3.9：這會建立一個名為 bitnet-cpp 的 Conda 環境，並且使用 Python 3.9。使用 Conda 環境可以避免不同專案之間的函式庫衝突。
• conda activate bitnet-cpp：這會啟用你剛剛建立的 Conda 環境。
• pip install -r requirements.txt：這會安裝 requirements.txt 檔案裡列出的所有 Python 函式庫。這些函式庫是 BitNet.cpp 運作所必需的。
• huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T: 使用 Hugging Face 的指令下載模型，microsoft/BitNet-b1.58-2B-4T-gguf是模型名稱， --local-dir models/BitNet-b1.58-2B-4T 是指定下載儲存的本地路徑。
• python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s：這個指令會設定 BitNet.cpp 的環境。
  • -md models/BitNet-b1.58-2B-4T：指定模型所在的目錄。
  • -q i2_s：指定量化類型。i2_s 是一種特定的量化方法，可以進一步壓縮模型的大小。

3. 執行推論：

環境設定完成後，就可以開始執行推論了！

python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "你是個樂於助人的助手" -cnv

指令說明：

• python run_inference.py：執行推論腳本。
• -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf：指定模型檔案的路徑。
• -p "你是個樂於助人的助手"：指定提示語（Prompt）。你可以修改這段文字，讓模型回答你想要問的問題。
• -cnv：啟用對話模式。這表示模型會像一個聊天機器人一樣，跟你進行對話。

執行這個指令後，你就可以看到模型開始產生文字了！

4. 效能評估 (Benchmark)

想要測試一下 BitNet.cpp 在你的電腦上的效能嗎？可以使用以下指令：

python utils/e2e_benchmark.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p 512 -n 128 -t 4

指令說明：

• -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf：指定模型檔案的路徑。
• -p 512：指定 Prompt 的 token 數量。
• -n 128：指定要生成的 token 數量。
• -t 4：指定要使用的執行緒數量。

這個指令會執行一個效能測試，並且顯示模型每秒可以生成多少個 token。

常見問題與解決方案

在使用 BitNet.cpp 的過程中，你可能會遇到一些問題。 這裡列出了一些常見問題和解決方案：

• Q1: 編譯 llama.cpp 時出現 std::chrono 錯誤？
  • A: 這是 llama.cpp 的一個已知問題。請參考這個 commit 來修復這個問題。
• Q2: 在 Windows 上使用 Conda 環境和 Clang 編譯時出現問題？
  • A: 確保你已經正確安裝 Clang，並且可以在命令提示字元中執行 clang -v。 如果出現錯誤，表示你的命令提示字元沒有正確初始化 Visual Studio 工具。 請按照以下步驟操作：
    • 命令提示字元： 執行 "C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\Tools\VsDevCmd.bat" -startdir=none -arch=x64 -host_arch=x64
    • PowerShell： 執行 Import-Module "C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\Tools\Microsoft.VisualStudio.DevShell.dll" Enter-VsDevShell 3f0e31ad -SkipAutomaticLocation -DevCmdArguments "-arch=x64 -host_arch=x64"

更多資源與延伸學習

想要更深入了解 BitNet.cpp 嗎？ 這裡提供一些額外的資源：

• BitNet.cpp GitHub 倉庫： https://github.com/microsoft/BitNet (就是你參考的資料來源！)
• BitNet b1.58-2B-4T 模型： https://huggingface.co/microsoft/BitNet-b1.58-2B-4T
• BitNet 相關論文：
  • BitNet a4.8: 4-bit Activations for 1-bit LLMs
  • 1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs
  • The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
  • BitNet: Scaling 1-bit Transformers for Large Language Models

個人實作心得與建議

在嘗試 BitNet.cpp 的過程中，我發現以下幾點值得注意：

• 硬體需求： 雖然 BitNet.cpp 可以在 CPU 上執行，但效能還是會受到 CPU 規格的影響。 如果你的 CPU 比較舊，可能需要耐心等待模型生成文字。
• 模型選擇： 不同的 1-bit LLM 模型，在效能和準確度上可能會有所差異。 建議多嘗試不同的模型，找到最適合你的應用場景的模型。
• 量化方式： BitNet.cpp 支援不同的量化方式，例如 i2_s 和 tl1。 不同的量化方式會影響模型的效能和大小。 建議嘗試不同的量化方式，找到最佳的平衡點。
• 善用Hugging Face: Hugging Face Hub 上有許多已經訓練好的 1-bit LLM 模型，可以直接下載使用，省去訓練模型的麻煩。

給台灣讀者的建議：

• 如果你是 AI 初學者，可以先從比較小的模型開始嘗試，例如 bitnet_b1_58-large。
• 如果你的電腦配備了 Apple M 系列晶片，可以期待更好的效能表現。
• 別害怕嘗試！ BitNet.cpp 是一個開源專案，有很多熱心的開發者在社群裡提供協助。

結論

BitNet.cpp 的出現，讓大型語言模型不再是高階硬體的專利，而是可以觸手可及的技術。 透過這個框架，台灣的 AI 愛好者們可以在自己的電腦上，體驗到 1-bit LLM 的高效能和低功耗。 無論你是學生、研究人員，還是只是對 AI 感興趣的普通人，都可以透過 BitNet.cpp，開啟你的 AI 之旅！

希望這篇文章能夠幫助你入門 BitNet.cpp。 趕快動手試試看吧！ 如果你有任何問題，歡迎在留言區提出，我們會盡力解答。 祝你玩得開心！

參考閱讀

https://github.com/microsoft/BitNet