[Open Source] AI 應用啟動倒數計時，LiteRT-LM 快速上手，即刻體驗！

在你的口袋裡裝上 AI：LiteRT-LM 讓你輕鬆打造邊緣裝置上的生成式 AI 應用

哈囉，各位熱愛 AI 科技的台灣朋友們！今天要來介紹一個超棒的工具，它可以讓你在手機、平板，甚至是 Raspberry Pi 上，也能享受到生成式 AI 的魅力，它就是 Google 推出的 LiteRT-LM！ 想像一下，你的手機不用連網路，就能回答你的問題、生成文章，甚至執行更複雜的任務，這不再是天方夜譚，LiteRT-LM 就能幫你實現！

什麼是 LiteRT-LM？ 簡單來說…

LiteRT-LM 就像一個輕巧、高效的 AI 引擎，專門為邊緣裝置（Edge Devices）設計，也就是你身邊的各種裝置，像是手機、平板、IoT 裝置等等。它能讓你在這些裝置上部署大型語言模型 (Large Language Models，也就是我們常說的 LLM)，例如 Google 的 Gemma 模型、Llama、Phi-4 等等，而且效能超棒，讓你用起來就像用手機上的原生應用程式一樣流暢。

為什麼 LiteRT-LM 值得關注？

身為台灣的開發者或科技愛好者，你可能會問：「市面上的 AI 工具這麼多，為什麼要特別關注 LiteRT-LM 呢？」 讓我來告訴你幾個重點：

• 跨平台支援： 支援 Android、iOS、網頁、桌機，甚至 Raspberry Pi 等 IoT 裝置。 意思是，你可以在各種裝置上開發 AI 應用，不用受到平台的限制。
• 硬體加速： 能夠充分利用裝置上的 GPU 和 NPU，讓你享受最佳的效能。 尤其在手機上，這代表更快的反應速度和更長的電池續航力。
• 多模態支援： 不僅支援文字輸入，還能處理影像和聲音，讓你的 AI 應用更豐富有趣。
• 工具使用 (Tool Use)： 支援函式調用 (Function Calling)，讓你開發的 AI 應用可以執行更複雜的任務，例如查詢資料庫、控制硬體等等，打造更聰明的 AI 應用。
• 廣泛的模型支援： 支援 Gemma、Llama、Phi-4、Qwen 等多種模型，你可以自由選擇最適合你的模型。

實戰範例：用 LiteRT-LM 快速上手 (不用寫程式也能玩！)

聽到這裡，你是不是已經迫不及待想試試了呢？別擔心，LiteRT-LM 的上手非常簡單，即使你是 AI 初學者，也能輕鬆上手！ 我們來看看怎麼用 LiteRT-LM CLI (Command Line Interface，也就是命令列介面) 來快速體驗：

1. 安裝 uv (如果還沒安裝的話)：
   • uv 是一個快速的 Python 虛擬環境和套件管理器。 如果你還沒安裝，可以參考 uv 的安裝指南。
2. 安裝 LiteRT-LM：
   • 在你的終端機 (Terminal) 或命令提示字元 (Command Prompt) 中輸入：

     uv tool install litert-lm
     

   • 這會自動下載並安裝 LiteRT-LM。
3. 執行模型 (試用 Gemma 4)：
   • 輸入以下指令，體驗一下 Gemma 4 模型：

     litert-lm run \
       --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
       gemma-4-E2B-it.litertlm \
       --prompt="What is the capital of France?"
     

   • 等待幾秒鐘，你就會看到 LiteRT-LM 輸出的答案：「The capital of France is Paris.」

   • 指令說明：
     • litert-lm run： 執行 LiteRT-LM。
     • --from-huggingface-repo=...： 指定從 Hugging Face 儲存庫下載模型。
     • gemma-4-E2B-it.litertlm： 指定要使用的模型檔案。
     • --prompt="...： 輸入你的問題 (prompt)。

就是這麼簡單！ 你可以用同樣的方法，試試不同的模型，或修改 prompt 來提出不同的問題，體驗一下 AI 的魅力。

💡 小撇步： 如果你想快速試用不同的模型，可以到 Hugging Face 上搜尋 litert-lm 關鍵字，找到更多 LiteRT-LM 支援的模型。

進階應用：使用程式碼來開發 (針對開發者)

對於想更深入了解的開發者們，LiteRT-LM 提供了多種程式語言的 API，讓你輕鬆將 AI 功能整合到你的應用程式中。 支援的程式語言包括：

• Kotlin: 專為 Android 應用程式和 JVM (Java Virtual Machine) 設計。
• Python: 方便原型設計和腳本編寫。
• C++: 適合開發高效能的原生應用程式。

💡 實作小技巧： 以 Python 為例，你可以這樣開始：

1. 安裝 LiteRT-LM Python 套件: 使用 pip install litert-lm。
2. 導入必要的套件:
   python
from litertlm import LiteRTLLM
3. 載入模型:
   python
model = LiteRTLLM(model_path="path/to/your/model") # 替換成你的模型路徑
4. 提出問題:
   python
response = model.generate(prompt="What is the capital of France?")
print(response)

🛠️ 錯誤排除指南：
* 模型路徑錯誤: 確認你的模型檔案路徑是否正確。
* 硬體不支援: 某些模型可能需要特定的硬體加速器 (例如 GPU 或 NPU)。 檢查你的裝置是否支援，或嘗試使用不同的模型。
* 版本相容性: 確認你使用的 LiteRT-LM 版本與模型檔案相容。 到官方網站或 GitHub 查閱相關文件。

LiteRT-LM 在 Google 產品中的應用

LiteRT-LM 已經被 Google 廣泛應用於產品中，例如：

• Chrome 瀏覽器： 在 Chrome 瀏覽器中實現 AI 聊天、文章摘要等功能。
• Chromebook Plus： 在 Chromebook Plus 上提供 AI 輔助功能。
• Pixel Watch： 在 Pixel Watch 上提供 AI 智慧體驗。

你也可以透過 Google AI Edge Gallery 應用程式，在你的裝置上立即執行模型，親身體驗 LiteRT-LM 的強大功能。 (Google Play 商店連結: https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery； Apple App Store連結: https://apps.apple.com/us/app/google-ai-edge-gallery/id6749645337)

結語： 開啟你的 AI 邊緣之旅

LiteRT-LM 是一個非常有潛力的工具，它讓 AI 應用程式可以在邊緣裝置上運行，提供更快速、更隱私、更豐富的體驗。 無論你是 AI 初學者，還是經驗豐富的開發者，都非常值得一試。 現在就開始，探索 AI 在你身邊的可能性吧！

💡 更多資源：

• 官方網站： https://ai.google.dev/edge/litert-lm
• 技術概覽： https://ai.google.dev/edge/litert-lm/overview (包含效能基準測試、模型支援等)
• LiteRT-LM CLI 指南： https://ai.google.dev/edge/litert-lm/cli (安裝、入門、進階用法)
• GitHub Releases：https://github.com/google-ai-edge/LiteRT-LM/releases (查看完整的版本發布)

希望這篇文章能幫助你了解 LiteRT-LM，並激發你對 AI 應用的熱情。 如果你有任何問題或想分享你的使用心得，歡迎在下方留言！

參考閱讀

https://github.com/google-ai-edge/LiteRT-LM

About the Author

n8n n8n

Administrator

View All Posts