本地 AI 跑得動什麼：顯示卡、迷你主機、模型與量化的完整選擇

charles · 發表於 2026-9-21 13:35:36

「要買什麼硬體才跑得動本地 AI」這個問題，網路上的答案不是「隨便一張顯示卡就好」就是「你需要一張 4090」。兩個都不對。這篇給你一個可以自己算的公式、一張對照到實際速度的硬體表，以及從裝好到接進 Home Assistant 的完整步驟。

每一步都有「你會看到什麼」。做完第三步能自己確認第三步成功了，才走第四步。

做完這篇你會有什麼

一個算式，輸入「想跑的模型」就能算出「要幾 GB 記憶體」
一台真的在跑模型的機器，而且你確認過它跑在顯示卡上而不是 CPU 上
一個量出來的 tokens/s 數字，不是別人網站上的數字
一個接進 Home Assistant、而且真的控制得動裝置的本地對話代理

這篇不講什麼：語音轉文字（Whisper）與文字轉語音（Piper）的安裝。那是另一條完全獨立的線，跟顯示卡的關係不大。

---

先講一件會顛覆直覺的事：跑 LLM 的瓶頸是記憶體頻寬，不是運算力

一般人挑顯示卡看的是「算力」。但在生成文字的時候（批次大小是 1 的情況，也就是家用的情況），每生出一個字，整份模型的權重都要從記憶體讀過一遍。

所以速度大致上就是：

每秒生成的 token 數 ≈ 記憶體頻寬 ÷ 模型在記憶體裡佔的大小

複製代碼

這個算式解釋了後面所有奇怪的現象，包括「為什麼 128GB 的迷你主機跑大模型比頂級顯示卡快，但跑小模型慢得多」。

---

步驟 1：先算出你需要多少記憶體

1-1 找出模型的檔案大小

到 ollama.com 搜尋模型名稱，每個標籤旁邊都會寫檔案大小。這個數字就是量化後的權重大小。

1-2 套公式

需要的記憶體 ≈ 模型檔案大小
+ 1～1.5GB（執行時的雜項開銷）
+ KV cache（跟 context 長度成正比）

複製代碼

KV cache 怎麼估：8B 級的模型，8K context 大約 1GB，32K 大約 4GB。這一項最容易被忽略，而且是「平常沒事、講到長對話才爆」的那種。

1-3 實際算一次

qwen3:8b（Q4_K_M，檔案約 4.6GB）
4.6 + 1.2 + 1.0（8K context）= 約 6.8GB
→ 8GB 顯示卡剛好，12GB 很舒服
qwen3:14b（Q4，檔案約 8.3GB）
8.3 + 1.2 + 1.5 = 約 11GB
→ 12GB 顯示卡「理論上」可以，但如果那張卡同時在接螢幕，
實際可用只剩約 11.25GB，會很緊
→ 16GB 才是安全的

複製代碼

⚠ 這個「同時在接螢幕」的細節會害你：桌機把顯示器接在同一張卡上，Windows 桌面本身就會吃掉 0.7～1GB。模型明明寫 11.5GB、卡是 12GB，結果一跑就掉到 CPU 上。症狀是速度突然慢十倍，而且沒有任何錯誤訊息。

---

步驟 2：搞懂量化，不然你會一直挑錯檔案

同一個模型在 ollama 上會有一長串標籤：`q4_0`、`q4_K_M`、`q5_K_M`、`q8_0`、`fp16`…

名字怎麼讀（以 `Q4_K_M` 為例）：

Q4 = 每個權重用 4 個位元存（原本是 16 位元）
K = k-quant 方法。權重分成小區塊，每塊有自己的縮放係數，而且那些係數本身也被量化過
M = medium。同一族裡還有 S（small）和 L（large）。M 的做法是：大部分權重用 4 bit，但最敏感的那幾層用 6 bit

實際的取捨（llama.cpp 官方的 7B 數據）

Q2_K：2.67GB，品質嚴重下降 —— 官方標註「不建議」
Q4_K_S：3.56GB
Q4_K_M：3.80GB —— 官方標註「recommended」，這是預設答案
Q5_K_M：記憶體有餘裕就升上來，品質再靠近原版一點
Q8_0：幾乎無損，但檔案大約是 Q4 的兩倍，等於白白犧牲速度

以下還有約 81% 的內容
登入後即可閱讀完整教學

登入繼續閱讀使用 Google 登入

		自動登入	找回密碼
密碼			立即註冊

本地 AI 跑得動什麼：顯示卡、迷你主機、模型與量化的完整選擇

延伸閱讀

瀏覽過的版塊