Ollama 让你可以在自己电脑上运行本地模型:数据完全不出本机,适合处理敏感信息和高保密项目。不需要 API Key、可以离线。
学完你能做什么#
在完全离线、数据不出本机的环境使用 OpenCode 处理敏感数据
在 OpenCode 里配置并使用 Ollama 本地模型,完成第一次对话
你现在的困境#
桌面上有很多敏感文件(财务数据、客户信息、个人隐私等),不想上传给第三方大模型
正在开发高保密等级的项目,代码和文档绝对不能离开公司电脑
对数据隐私有严格要求,即使大模型承诺不保存,也不想让任何数据出本机
输入 /connect 想找本地 Ollama,却只看到 Ollama Cloud,不知道下一步怎么做
什么时候用这一招#
| 场景 | 本地模型(Ollama) | 云端模型 |
|---|
| 处理敏感 Excel 数据 | ✅ 数据不出本机 | ❌ 需要上传 |
| 开发保密项目 | ✅ 代码在本地处理 | ❌ 需要上传 |
| 日常开发任务 | ⚠️ 能力较弱 | ✅ 能力强 |
| 完全离线使用 | ✅ 支持 | ❌ 需要联网 |
🎒 开始前的准备#
核心思路#
所有数据都在本机处理,没有任何内容发送到第三方服务器
适合:财务数据、客户资料、个人隐私、商业机密、专利代码等
/connect 只用来保存 API key(所以你会看到 Ollama Cloud);本地 Ollama 不需要 key,需要用 opencode.json 配置 provider 才能在 /models 里选到
新 手不要一上来就追 70B:先用 7B/8B 把流程跑通,再升级
用途:写代码优先选 *-coder,通用对话选 llama/qwen/gemma
跟我做#
第 1 步:安装 Ollama#
为什么
你需要一个本地模型运行时,它会在本机启动服务,OpenCode 才能连上。你应该看到:版本号输出(例如 ollama version x.y.z)。第 2 步:选一个适合你硬件的模型并下载#
为什么
模型选太大,常见结果就是:下载很久、跑起来很慢、甚至直接内存/显存不够。3B~8B:入门/轻量,16GB 内存的电脑也能跑
14B:明显更强,通常需要 16GB 显存或 32GB 以上内存才更舒服
27B~32B:高质量本地助手,建议 24GB~32GB 显存或 48GB 以上内存
70B/72B:本地“天花板”级别,通常需要 48GB+ 显存(或多卡/CPU 混合 offload,速度会明显下降)
Ollama 模型页面显示的 GB 是“下载文件大小”。运行时还会额外占用 KV cache(上下文越长越吃内存/显存)。建议至少预留 1.2~1.5 倍“下载大小”的可用内存/显存作为余量。
通用对话(轻量):llama3.2:3b(约 2.0GB 下载)
通用对话(更强):llama3.1:8b(约 4.9GB 下载)
中文/通用能力:qwen2.5:7b(约 4.7GB 下载)、qwen2.5:14b(约 9.0GB 下载)
编程优先:qwen2.5-coder:7b(约 4.7GB 下载)、qwen2.5-coder:14b(约 9.0GB 下载)、qwen2.5-coder:32b(约 20GB 下载)
其他常用:gemma2:9b(约 5.4GB 下载)、mistral:7b(约 4.4GB 下载)
| 你的硬件 | 推荐参数规模 | 推荐模型(举例) |
|---|
| MacBook(Apple Silicon)16GB 统一内存(例如 M4 16GB) | 3B~8B | llama3.2:3b / llama3.1:8b / qwen2.5-coder:7b |
| 独显 16GB 显存(例如 16GB VRAM 的 NVIDIA/AMD) | 7B~14B | qwen2.5-coder:14b / qwen2.5:14b / gemma2:9b |
| 独显 24GB 显存 | 14B~32B | qwen2.5-coder:32b / qwen2.5:32b / gemma2:27b |
| 独显 32GB 显存(以 RTX 5090 32GB 为例) | 32B | qwen2.5-coder:32b / qwen2.5:32b |
| 独显 48GB+ 显存 | 70B/72B | llama3.1:70b / qwen2.5:72b |
如果你的 5090 是 24GB~32GB 显存,一般更适合优先跑 32B 这一档;70B/72B 往往需要 48GB+ 显存,或者用 CPU 混合 offload(能跑但会慢)。
你应该看到:类似 pulling manifest ... success 的下载过程与成功提示。第 3 步:启动 Ollama 服务#
为什么
OpenCode 需要通过本地 HTTP 服务和 Ollama 通信。你应该看到:出现 Listening on 127.0.0.1:11434(保持这个终端窗口开着)。第 4 步:在 OpenCode 配置“本地 Ollama 提供商”(可复制)#
为什么
你在 /connect 里只看到 Ollama Cloud 是正常的:/connect 只负责保存 API key(写到 ~/.local/share/opencode/auth.json)。本地 Ollama 不需要 key,所以正确做法是:在 opencode.json 里配置一个 provider,把 Ollama 的 OpenAI 兼容地址填进去。全局:~/.config/opencode/opencode.json(所有项目通用)
项目级:把 opencode.json 放到当前项目根目录(只对这个项目生效)
如果你不确定 OpenCode 到底在读哪个路径,可以运行:{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama (local)",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen2.5-coder:7b": { "name": "Qwen2.5 Coder 7B (local)" },
"llama3.1:8b": { "name": "Llama 3.1 8B (local)" },
"llama3.2:3b": { "name": "Llama 3.2 3B (local)" }
}
}
}
}
1.
models 里的 key(例如 qwen2.5-coder:7b)建议和你 ollama pull 的模型名一致。
2.
这个配置只是在 OpenCode 里“声明可选模型列表”,并不会帮你下载模型;下载仍然要靠 ollama pull ...。
你应该看到:保存完配置后,重启 OpenCode,/models 里会出现 Ollama (local) 下的模型(下一步验证)。第 5 步:重启 OpenCode,选择本地模型并发送第一句话#
为什么
OpenCode 需要在启动时读取 opencode.json