回到頂部

🦙 Ollama 本地 AI

在自己的電腦上跑 AI 模型——Ollama 完全教學。

Ollama 是一個超簡單的工具,讓你在自己的電腦上跑 AI 大語言模型——就像在本地安裝一個私人版的 ChatGPT。支援 Llama 3DeepSeek R1Mistral 等數十種開源模型

確認你的電腦配備

跑 AI 需要一定的記憶體。看看你的電腦適合哪種模型:

  • 8GB RAM:可以跑小型模型(7B 參數),回答速度較慢但堪用
  • 16GB RAM:流暢跑小型模型,可嘗試中型模型(13B)
  • 32GB+ RAM:流暢跑中型模型,可嘗試大型模型(30B+)

💡 我需要獨立顯卡嗎?

不一定!Ollama 可以用 CPU 跑(只是慢一點)。如果你有 NVIDIA 顯卡(RTX 系列),速度會快很多。但沒有顯卡也完全可以使用

下載安裝 Ollama

前往 ollama.com,點擊「Download」下載安裝檔。

  • Windows:下載 .exe 安裝檔,雙點安裝
  • Mac:下載 .dmg 檔案,拖到 Applications
  • Linux:一行指令搞定 curl -fsSL https://ollama.com/install.sh | sh

安裝完成後,Ollama 會在背景啟動服務,你不需要額外設定。

跑你的第一個 AI 模型

打開「終端機」(Windows 是 CMD 或 PowerShell,Mac 是 Terminal),輸入:

ollama run llama3

第一次執行會自動下載模型(約 4.7GB),之後就直接啟動。下載完畢後,你就可以直接在終端機裡跟 AI 對話了!

用繁體中文介紹台北三個必去景點

台北有許多精彩的景點!以下推薦三個必去之處:

  1. 故宮博物院 — 收藏超過 69 萬件中華文物珍品…
  2. 象山步道 — 只需 20 分鐘就能登頂…
  3. 西門町 — 台北最具活力的商圈…

_

看到了嗎?你的電腦現在就是一台 AI 機器!🎉

試試更多模型

Ollama 支援數十種開源模型,每種都有不同特色:

# DeepSeek R1 — 超強推理模型,數學/邏輯推理一流
ollama run deepseek-r1

# Mistral — 法國輕量級模型,速度快
ollama run mistral

# Gemma 2 — Google 的開源模型
ollama run gemma2

# 程式專用 — 寫程式特別強
ollama run codellama

💡 模型選擇建議

日常對話:llama3(均衡好用)

數學/推理:deepseek-r1(比許多商業模型還強)

寫程式:codellama 或 deepseek-coder

電腦較弱:mistral 或 gemma2(較輕量)

進階:加上漂亮的聊天介面

終端機打字不夠舒服?你可以安裝免費的圖形介面,讓本地 AI 看起來就像 ChatGPT

推薦:Open WebUI

Open WebUI 是最受歡迎的 Ollama 前端介面,安裝後你就有一個跟 ChatGPT 幾乎一模一樣的聊天頁面,但完全在你的電腦上運行

# 如果有安裝 Docker,一行搞定:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  ghcr.io/open-webui/open-webui:main

安裝後打開瀏覽器到 localhost:3000,就能享受精美的 AI 聊天介面了。

💡 不想用 Docker?

也有更簡單的選擇:Jan(jan.ai)是一個獨立的桌面應用程式,安裝後直接使用,內建模型下載功能,完全不需要終端機。非常適合不熟悉技術的使用者。

管理你的模型

幾個實用的管理指令:

# 列出已下載的模型
ollama list

# 刪除不要的模型(釋放硬碟空間)
ollama rm mistral

# 查看模型詳細資訊
ollama show llama3

# 複製模型(給它取別名)
ollama cp llama3 my-assistant

⚠️ 注意硬碟空間

每個模型大約 4-40GB 不等。如果下載太多模型可能會佔用大量硬碟空間。用 ollama list 檢查,用 ollama rm 模型名 刪除不需要的。

本地 AI 的最佳使用場景

  • 🔒 處理敏感資料:公司內部文件、個人日記、財務資料——絕不外洩
  • ✈️ 離線使用:飛機上、火車上、沒有網路也能用 AI
  • 💰 省錢:不需要付 ChatGPT Plus 月費或 API 費用
  • 🧪 實驗和學習:隨便測試、不怕花錢,適合學生和研究者
  • 🛠️ 開發用途:本地開發時不需要依賴網路和 API

🏠 你的私人 AI 助手已就緒!

現在就去安裝 Ollama,在自己的電腦上體驗 AI 的力量。


❓ FAQ

Ollama 和 ChatGPT 有什麼差別?

ChatGPT 是雲端服務(資料傳到 OpenAI 伺服器),Ollama 是本地運行(資料完全不離開你的電腦)。ChatGPT 功能更強但需要付費和網路,Ollama 免費且隱私性最高。想進一步客製模型?看看微調教學

用 Ollama 需要什麼配備?

最低 8GB RAM 就可以跑小型模型(16GB 建議)。不需要獨立顯卡,但有 NVIDIA RTX 顯卡會快很多。模型需 4-40GB 硬碟空間。

📚 延伸閱讀