[Open Source] **Chatterbox Turbo 等你玩，現在僅剩安裝與實作！**

台灣人也能輕鬆上手的 AI 語音合成：Chatterbox Turbo 實戰教學

各位愛好科技、對 AI 語音合成有興趣的台灣朋友們，大家好！

今天要為大家介紹一個超酷的開源 AI 模型： Chatterbox-Turbo 。它是由 Resemble AI 開發的，號稱能在短時間內生成高品質的語音，而且操作起來非常容易。無論你是想為你的影片加上旁白、製作有聲書，或是單純想體驗 AI 語音的魅力，Chatterbox Turbo 都能滿足你的需求。

什麼是 Chatterbox-Turbo？ 簡單說給你聽！

Chatterbox-Turbo 是一套文字轉語音 (Text-to-Speech, TTS) 的模型。 簡單來說，你只要輸入文字，它就能產生語音。 厲害的是，Chatterbox Turbo 的語音品質非常接近真人，而且還支援一些特殊的標籤，讓你控制語音的表現，例如：

• [laugh]：讓你的 AI 語音笑起來。
• [cough]：讓 AI 語音咳嗽。

這些功能讓生成的語音更自然、更有趣。

為什麼選擇 Chatterbox-Turbo？ 它有什麼優點？

• 速度快：相較於之前的模型，Chatterbox Turbo 的生成速度更快，適合即時應用，例如：語音助手。
• 品質高：生成的語音品質接近真人，聽起來很舒服。
• 容易上手：安裝和使用都非常簡單，即使你是程式新手也能輕鬆上手。
• 特殊標籤：內建的 paralinguistic tags (像是 [laugh] 等) 讓你可以更精細地控制語音的表現。
• 免費使用：Chatterbox Turbo 是開源模型，你可以免費下載和使用。

準備好了嗎？ 讓我們開始動手玩看看！

1. 環境準備：

首先，你需要安裝 Python 環境。如果你還沒安裝，可以到 Python 官網下載安裝包：https://www.python.org/downloads/

2. 安裝 Chatterbox-Turbo：

打開你的終端機 (Windows 系統稱為「命令提示字元」或「PowerShell」，Mac 和 Linux 系統則是「終端機」)，輸入以下指令：

pip install chatterbox-tts

這個指令會自動下載並安裝 Chatterbox Turbo 及其相關的程式庫。

3. 實作範例：

現在，讓我們來寫一段 Python 程式碼，讓 Chatterbox Turbo 產生語音。

import torchaudio as ta
import torch
from chatterbox.tts_turbo import ChatterboxTurboTTS

# 載入 Turbo 模型
model = ChatterboxTurboTTS.from_pretrained(device="cuda") # 如果你有 NVIDIA 顯示卡，可以用 "cuda" 加速

# 輸入文字，包含 paralinguistic tags
text = "大家好，我是 AI 小幫手 [laugh]，很高興能為您服務！"

# 產生語音
wav = model.generate(text)

# 儲存語音檔案
ta.save("ai_voice.wav", wav, model.sr)

print("語音檔案已成功儲存為 ai_voice.wav")

程式碼解說：

• import 程式庫： 導入 torchaudio, torch 以及 Chatterbox Turbo 的相關程式庫。
• model = ChatterboxTurboTTS.from_pretrained(device="cuda")： 載入 Chatterbox Turbo 模型。 device="cuda" 表示使用你的顯示卡 (如果有的話) 來加速運算。 如果你的電腦沒有顯示卡，可以將 "cuda" 改成 "cpu" 。
• text = "..."： 設定要轉換成語音的文字。 我們加入了 [laugh] 標籤，讓 AI 語音在笑。
• wav = model.generate(text)： 呼叫 generate() 函式，將文字轉換成語音。
• ta.save("ai_voice.wav", wav, model.sr)： 將生成的語音儲存成 ai_voice.wav 檔案。 model.sr 代表取樣率 (sampling rate)，也就是聲音的品質。
• print("語音檔案已成功儲存...")： 在終端機上顯示訊息，確認檔案已成功儲存。

如何執行程式碼：

1. 將程式碼複製到一個 Python 檔案中 (例如 chatterbox_demo.py )。
2. 打開終端機，切換到你儲存 Python 檔案的目錄。
3. 輸入以下指令並按下 Enter 鍵：

   python chatterbox_demo.py
   

   這會執行你的 Python 程式碼，並在同一目錄下產生一個名為 ai_voice.wav 的語音檔案。

4. 你可以用你的電腦播放這個 .wav 檔案，聽聽看效果！

進階應用：語音克隆 (Voice Cloning)

Chatterbox Turbo 也能讓你模仿特定的聲音，這叫做語音克隆 (Voice Cloning)。

如何使用語音克隆：

1. 準備參考音檔： 你需要一個參考音檔，裡面包含你想要模仿的聲音。 這個音檔的長度建議在 10 秒左右，最好是清晰、乾淨的錄音。
2. 修改程式碼： 在 model.generate() 函式中加入 audio_prompt_path 參數，並指定你的參考音檔的路徑。

   import torchaudio as ta
   import torch
   from chatterbox.tts_turbo import ChatterboxTurboTTS
   
   # 載入 Turbo 模型
   model = ChatterboxTurboTTS.from_pretrained(device="cuda")
   
   # 輸入文字
   text = "大家好，我是用你聲音說話的 AI！"
   
   # 產生語音，指定參考音檔
   wav = model.generate(text, audio_prompt_path="your_10s_ref_clip.wav")
   
   # 儲存語音檔案
   ta.save("cloned_voice.wav", wav, model.sr)
   
   print("語音檔案已成功儲存為 cloned_voice.wav")
   

   把 "your_10s_ref_clip.wav" 改成你參考音檔的路徑。

3. 執行程式碼： 執行你的 Python 程式碼，產生語音。

小提醒：

• 語音克隆的效果會受到參考音檔品質的影響。 盡量使用乾淨、清晰的錄音。
• 語音克隆的結果可能不完美，但通常都能達到不錯的效果。

錯誤排除指南

在使用 Chatterbox Turbo 的過程中，你可能會遇到一些問題。 以下是一些常見問題和解決方法：

• ModuleNotFoundError: No module named ‘chatterbox’：這表示你沒有正確安裝 Chatterbox 程式庫。請確認你已經在終端機中執行過 pip install chatterbox-tts 。
• CUDA 相關錯誤： 如果你使用 device="cuda" ，但遇到 CUDA 相關的錯誤，可能是你的電腦沒有安裝正確的 NVIDIA 驅動程式，或 CUDA 版本不相容。請確認你的驅動程式和 CUDA 版本都已正確安裝。 如果你不想處理 CUDA 相關問題，可以將 device="cuda" 改成 device="cpu" ，使用 CPU 來運算。 這樣速度會比較慢，但至少可以運行。
• 語音品質不好： 可能是因為你的參考音檔品質不佳 (語音克隆時)，或是你的文字內容有問題。 可以試著調整 cfg_weight 和 exaggeration 參數 (參考資料提供的提示) 來改善效果。
• 生成速度慢： 如果你在使用 CPU 運算，生成速度會比較慢。 建議使用 GPU (顯示卡) 加速。

深入探索：進階技巧與心得

1. 調整參數：
   • Chatterbox 提供了一些參數，讓你調整語音的風格。 像是 cfg_weight 和 exaggeration。
   • cfg_weight： 控制模型遵循參考音檔的程度 (語音克隆時)。 數值越高，越接近參考音檔的風格。 數值越低，語音風格越自由。
   • exaggeration： 調整語音的表達程度，例如情緒的強度。 數值越高，語氣越誇張。
   • 你可以嘗試不同的參數組合，找出最適合你的效果。
2. 利用 paralinguistic tags：
   • Chatterbox Turbo 支援像是 [laugh] 、 [cough] 等標籤。
   • 這些標籤可以讓你的語音更生動、有趣。
   • 你可以參考 Resemble AI 的 官方文件，了解更多標籤的用法。
3. 整合到你的應用程式：
   • Chatterbox Turbo 可以很方便地整合到你的應用程式中。
   • 你可以將它用於影片製作、有聲書製作、聊天機器人等等。
   • 由於是開源模型，你無需支付授權費用，可以自由地使用它。
4. 我的實作心得：
   • 聲音克隆的技巧： 聲音克隆的關鍵是好的參考音檔。 我試過用不同的人聲做參考，發現錄音品質越好，結果越接近。 我也嘗試了不同的長度，發現 10 秒左右的效果最好。
   • 調整參數的重要性： cfg_weight 和 exaggeration 參數非常重要。 調整這些參數，能讓語音的表達更符合你的需求。 例如，在製作有聲書時，我會降低 cfg_weight ，讓 AI 的聲音更自然。
   • 結合其他工具： 我會將 Chatterbox Turbo 產生的語音，與其他工具 (例如：影片剪輯軟體) 結合使用，讓我的作品更豐富。

結語： 探索 AI 語音合成的無限可能！

Chatterbox Turbo 是一個功能強大、又容易上手的 AI 語音合成工具。 希望這篇文章能幫助你快速入門，並開始探索 AI 語音合成的無限可能！

如果你有任何問題或心得，歡迎在下方留言，一起交流討論！ 也歡迎分享你的作品，讓我們一起欣賞！

祝你玩得開心！

參考閱讀

https://github.comundefined