找回密碼
 立即註冊
    查看: 159|回覆: 0

    讓本地 LLM 控制你家:選模型、控制範圍、避免它亂來

    [複製鏈接]

    !lvup!   100%

    386

    主題

    27

    回帖

    2200萬

    積分

    管理員

    積分
    22006063
    發表於 2026-9-21 13:35:40 | 顯示全部樓層 |閱讀模式
    把一個跑在自己機器上的大語言模型接進 Home Assistant,「客廳有點暗」這種話它聽得懂。這篇講怎麼接、怎麼選模型、以及它會怎麼出錯。

    把一個跑在自己機器上的大語言模型接進 Home Assistant,「客廳有點暗」這種話它聽得懂。這篇講怎麼接、怎麼選模型、以及它會怎麼出錯

    加了 LLM 之後差在哪

    Home Assistant 內建的語音理解(Assist)是比對句型的:


    • 「開客廳的燈」—— 可以
    • 「客廳有點暗」—— 不行,它沒有這個句型
    • 「家裡現在有哪些燈開著」—— 不行


    接上 LLM 之後這三句都能處理,代價是:


    • 慢。句型比對通常一秒內,LLM 要兩到四秒,視機器而定
    • 吃資源。模型要長期佔著記憶體或顯存
    • 會犯錯,而且錯的方式很難預測(後面有一整段)


    ⚠ 一件要先知道的事:Ollama 整合不支援語句觸發器(sentence trigger)。也就是說,你在自動化裡寫的「當有人說『我回來了』就執行 X」那種觸發器,走 LLM 這條路不會被觸發。官方文件有明講。需要語句觸發器的功能要留在內建的 Assist 那一側。

    步驟 1:裝 Ollama

    Ollama 是跑本地模型最省事的工具。三種裝法:


    • 裝在另一台有顯卡的電腦上 —— 最快,推薦
    • Docker 跑在 NAS 或迷你主機上 —— 沒顯卡也能跑小模型
    • HA 的 Ollama 應用程式 —— 最省事,但跟 HA 搶同一顆 CPU 和同一條記憶體,HA 會變鈍


    Docker 的裝法:
    1. docker run -d \
    2.   --name ollama \
    3.   --restart unless-stopped \
    4.   -p 11434:11434 \
    5.   -v ollama:/root/.ollama \
    6.   ollama/ollama
    複製代碼

    有 NVIDIA 顯卡的話加一行(需要先裝好 NVIDIA Container Toolkit):
    1. docker run -d \
    2.   --name ollama \
    3.   --restart unless-stopped \
    4.   --gpus all \
    5.   -p 11434:11434 \
    6.   -v ollama:/root/.ollama \
    7.   ollama/ollama
    複製代碼

    -v ollama:/root/.ollama 不能省,模型檔案存在那裡。沒掛載的話容器一重建就要重新下載好幾 GB。

    你會看到什麼:
    1. docker logs ollama --tail 20
    複製代碼

    最後應該有一行
    1. Listening on [::]:11434 (version 0.34.4)
    複製代碼

    有顯卡的話再往上幾行會看到它認出你的卡,例如 `inference compute ... name="NVIDIA GeForce RTX 4060"`。

    看不到顯卡那幾行 —— `--gpus all` 沒生效,或 NVIDIA Container Toolkit 沒裝。模型還是會跑,但用 CPU,會慢非常多。

    ⚠ 預設只有本機連得到。HA 在別台機器上的話要讓 Ollama 聽外部連線。Docker 的 `-p 11434:11434` 已經處理好了;直接裝在主機上的人要另外設 `OLLAMA_HOST=0.0.0.0`。

    驗證:從跑 HA 的那台機器打一次
    1. curl http://你的Ollama主機IP:11434/api/tags
    複製代碼

    你會看到什麼:一段 JSON,剛裝好的話是 `{"models":[]}`(還沒下載任何模型)。

    以下還有約 80% 的內容
    登入後即可閱讀完整教學

    登入繼續閱讀使用 Google 登入
    您需要登入後纔可以回帖 登入 | 立即註冊

    本版積分規則

    延伸閱讀

    加入惟家 LINE 群 QR Code加入惟家 LINE 群

    Archiver|手機版|惟家的智能論壇

    GMT+8, 2026-11-10 00:39 , Processed in 0.128918 second(s), 25 queries .

    快速回覆 返回頂部 返回列表