【本地語音】Whisper + Piper + 本地 LLM 完整架設，含 ESP32-S3 語音衛星自製

charles

這篇的內容（22 段）

1. 做完這篇你會有什麼
2. 本地方案真正的三個優勢
3. 適合與不適合的情境
4. 什麼硬體跑得動什麼
5. 步驟 4：讓 HA 認識這兩個服務
6. 步驟 5：建立語音助理管線
7. 步驟 7：曝露裝置、取好名字
8. 曝露裝置
9. 官方規格
10. 零件清單
11. 麥克風 INMP441（用第一組 I2S）
12. 功放 MAX98357A（用第二組 I2S）
13. 步驟 9：燒錄語音衛星的韌體
14. 你會看到什麼（正常的樣子）
15. 什麼時候需要這個
16. 安裝 Ollama
17. ⚠ 一定要讓它接受外部連線
18. 下載模型
19. 接進 HA
20. 常見問題
21. 一、辨識出來的字完全不對
22. 三、自製衛星會自己觸發

這篇從零做到「對著一個自製的小音箱講中文，家裡的燈就會開，而且聲音完全沒有離開你家」。

每一步都有「你會看到什麼」。做完第三步能自己確認第三步成功了，才走第四步。



做完這篇你會有什麼

• 一條完全在本機跑的語音管線：語音轉文字、意圖辨識、文字轉語音
  
• 一台語音衛星（買現成的或自己焊，兩條路都寫完整）
  
• 選配的本地大型語言模型，讓它聽得懂比較口語的說法
  
• 實際的延遲數字，知道你的硬體會有什麼表現
  

---

先把期望值講清楚（這段請不要跳過）

本地語音的中文辨識率，比不上 Google 和 Alexa。 這是資源差距，不是設定問題 —— 對方有整個團隊在訓練模型。

而且中文的處境比英文更不利，有一個具體的原因：

Home Assistant 官方其實做了一套叫 Speech-to-Phrase 的本地語音辨識，速度極快（在樹莓派 4 或 HA Green 上一秒內完成，樹莓派 5 可以低到約 150 毫秒）。它的做法是只辨識你家裝置名稱組成的那些句子，不做通用辨識，所以又快又準。

但它目前支援的 21 種語言裡沒有中文。（英、法、德、荷、西、義、俄、捷、加泰隆尼亞、希臘、羅馬尼亞、葡、波蘭、印地、巴斯克、芬蘭、蒙古、斯洛維尼亞、斯瓦希里、泰、土耳其）

所以台灣使用者只有 Whisper 這條路，而 Whisper 比較吃硬體。這件事會直接決定你要買什麼主機，所以要在買之前知道。

本地方案真正的三個優勢

• 聲音不出家門 —— 錄音不會上傳到任何公司的伺服器
  
• 斷網也能用 —— 網路掛了，燈照樣開得了
  
• 沒有服務會被收掉 —— 不會有一天廠商宣布停止支援
  

適合與不適合的情境

• 適合：短指令、詞彙固定的 —— 「開客廳燈」「關冷氣」「臥室燈調暗」
  
• 不適合：長句、很口語的說法、問天氣查資料（本地沒有知識庫）
  

很多人的最終做法是兩套並存：控制家電用本地的（快、私密、斷網可用），問問題放音樂用原本的雲端音箱。這不是妥協，是各取所長。

---

步驟 1：決定主機 —— 這一步決定後面所有體驗

整條管線裡真正吃資源的只有兩段：語音轉文字（Whisper）和選配的大型語言模型。Piper（文字轉語音）和 Assist（意圖辨識）都很輕，什麼機器都跑得動。

什麼硬體跑得動什麼

1. 主機                     Whisper 模型     中文表現        大型語言模型
2. ─────────────────────────────────────────────────────────────────
3. 樹莓派 4 / HA Green      tiny / base      勉強，錯字多    跑不動
4. 樹莓派 5（8GB 以上）     base / small     可用            很小的模型才行
5. Intel N100 迷你主機      small            堪用            3B 級，反應偏慢
6. Intel N305 / i5 以上     small / medium   不錯            3B-8B，可接受
7. 有獨立顯卡（8GB 以上）   medium / large   最好            8B 以上，順暢

複製代碼

官方的最低建議是「至少 Intel N100 等級」 —— 那是用來跑 Whisper base 模型、而且是針對英文、西班牙文這類訓練資料充足的語言說的。中文要好用，實務上要往上一階。

官方公布的延遲數據可以拿來校準期待：Whisper 在樹莓派 4 上處理一句話大約 8 秒，在 Intel NUC 上一秒內完成。八秒是什麼感覺？你講完話，數到八，燈才亮 —— 那個體驗會讓家人拒絕使用這套系統。

所以實際的建議：

• 已經有 N100 等級的迷你主機在跑 HA → 直接開始，用 small 模型
  
• 只有樹莓派 4 或 HA Green → 可以先做起來玩，但不要期待它變成日常工具。真的要用就加一台迷你主機
  
• 想連本地 LLM 一起做 → 建議把 LLM 跑在另一台有顯卡的機器上，透過網路接過來。不要塞在跑 HA 的那台，LLM 佔滿 CPU 的時候，HA 自己會開始卡
  

---

步驟 2：安裝 Whisper（語音轉文字）

• HA → 設定 → 附加元件 → 附加元件商店
  
• 搜尋 Whisper，點進去按 安裝（會下載一陣子）
  
• 安裝完先不要啟動，切到 設定 分頁
  

設定分頁裡要改兩個地方：

• model —— 照步驟 1 的表選。不確定就選 `small`，不行再往下調
  
• language —— 選 zh（中文）
  

改完按 儲存，再回到 資訊 分頁按 啟動。

你會看到什麼：切到 日誌 分頁，第一次啟動會下載模型（small 大約幾百 MB），完成後會出現類似這樣的最後一行：

1. INFO:__main__:Ready

複製代碼

卡在下載不動 → 網路問題，重開附加元件再試。出現 out of memory → 模型選太大，往下降一階。

---

步驟 3：安裝 Piper（文字轉語音）

• 同樣在附加元件商店搜尋 Piper，安裝
  
• 設定 分頁把 voice 改成中文語音（清單裡找 `zh_CN-huayan-medium` 這類開頭是 `zh` 的）
  
• 儲存，回 資訊 分頁按 啟動
  

Piper 很輕，什麼機器都跑得動，不用擔心。

你會看到什麼：日誌最後同樣出現 Ready。

⚠ 關於 Piper 的一件事，你可能會在網路上看到

Piper 原本的專案倉庫（rhasspy/piper）已經被封存，開發搬到了新的倉庫（OHF-Voice/piper1-gpl），而且新倉庫一直有在更新。

這不影響你 —— HA 的 Piper 附加元件仍然在商店裡、仍然正常運作。看到「Piper 被封存了」的說法時不用緊張，那說的是舊倉庫，不是這個功能沒了。

以下還有約 80% 的內容
登入後即可閱讀完整教學

登入繼續閱讀使用 Google 登入