ollama

ollama 是一个轻量级的[[LLM]]服务，支持多种模型，包括 [[DeepSeek]]、[[Qwen]]、[[Llama]] 等。

安装

在 [[macOS]] 中通过 [[brew]] 安装:

1
brew install --cask ollama

在 macOS 中 ollama 模型默认保存位置: ~/.ollama/models。

在 [[Linux]] 中使用 [[cURL]] 下载安装，支持通过 [[systemctl]] 进行管理:

1
curl -fsSL https://ollama.com/install.sh | sh

在 Linux 中 ollama 模型默认保存位置: /usr/share/ollama/.ollama/models。

在 [[Docker]] 中安装:

1
docker run -d -v /opt/docker-data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU 支持（需要额外安装 [[nvidia-container-toolkit]] 组件）:

1
docker run -d --gpus=all -v /opt/docker-data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

/opt/docker-data/ollama 可以修改为实际的模型位置。

使用

命令行

• start: 运行指定模型
• ps: 查看正在运行的模型
• list: 列出已下载模型
• pull: 下载指定模型

API

ollama 默认端口是 11434，仅支持通过本机（127.0.0.1, localhost）访问:

• /api/ps: 查看已加载模型
• /api/tags: 查看可用模型
• /api/version: 查看 ollama 版本
• /api/chat:
• /api/generate:

服务

在 Linux 中安装后，默认会作为 systemd 服务运行，可以通过 [[systemctl]] 命令查看当前状态:

1
sudo systemctl status ollama

重启服务:

1
sudo systemctl restart ollama

修改 Host

默认情况下 ollama 运行在 127.0.0.1:11434 本机端口，无法通过局域网访问，如果希望修改为 0.0.0.0:11434，可运行:

1
sudo systemctl edit ollama.service

然后在打开的编辑器中输入以下内容:

1
[Service]
2
 Environment="OLLAMA_HOST=0.0.0.0"
3
 Environment="OLLAMA_ORIGINS=*"

如果需要连端口一并修改，可以设置为：OLLAMA_HOST=0.0.0.0:8080

修改模型存储路径

默认情况下，模型存储路径是 /home/ollama/.ollama，如果希望修改为其他路径，可运行:

1
sudo systemctl edit ollama.service

然后在打开的编辑器中输入以下内容:

1
[Service]
2
Environment="OLLAMA_MODEL_PATH=/data/ollama"

参考

• API Reference - Ollama English Documentation