Ollama 简介与入门指南：在本地轻松运行开源 AI 模型

是什么

Ollama 是一个开源平台，旨在让运行、管理以及基于开源人工智能模型进行开发变得简单便捷。在 AI 领域，“开源模型”是指底层参数和权重对外公开发布的机器学习架构。这使得任何人都可以直接在自己的硬件设备或专用基础设施上下载并运行这些模型，而无需依赖闭源且托管在第三方的网络服务。

根据该项目的代码仓库元数据，Ollama 支持用户快速上手多种模型架构，其中包括 Gemma、DeepSeek、Qwen、Kimi、GLM、MiniMax 以及 gpt-oss 等。在底层架构核心方面，Ollama 采用由 Georgi Gerganov 发起的 llama.cpp 项目作为后端引擎，用于执行模型的实际计算。

数据保密性是该平台的一大重点。根据项目官方网站介绍，Ollama 允许用户在确保完全隐私的情况下，在本地或云端环境中使用最新发布的开源模型，并明确说明用户的提示词绝不会被留存，也不会用于模型训练。该项目获得了广泛的社区认可：根据官方网站数据，Ollama 的月安装量已超过 900 万次，模型下载量突破 10 亿次，累计处理的 Token 超过 200 万亿个，并在 GitHub 上获得了超过 183,500 颗 Star。

能做什么

Ollama 功能全面，涵盖了交互式对话、自动化编程辅助、自定义机器人部署以及软件开发集成等多个维度。

交互式模型运行与对话

在最基础的使用方式中，Ollama 是一个命令行（CLI）工具，支持下载、运行语言模型并与之交互对话。用户可以直接在终端提示符下启动与 Gemma 4 等模型的对话会话。除了对话生成之外，用户还可以浏览并从官方模型库庞大的在线目录中拉取模型。

编程开发与代码辅助

Ollama 能够直接融入现代编程工作流中。它可以启动专属的代码环境，并对接各类自动化开发者助手，例如 Claude Code、OpenCode、Codex、Copilot CLI、DeepSeek Harness 以及 Droid。借助这些连接，开发者可以使用本地模型在终端环境中生成代码、审查代码库并协助调试排错。

个人助理与即时通讯整合

该平台能够通过 OpenClaw 等工具接入各类通讯渠道。这项能力允许用户将 Ollama 部署为自托管的个人 AI 助手，在 WhatsApp、Telegram、Slack 和 Discord 等主流即时通讯平台上运行。

编程 REST API 与官方开发库

对于构建自定义应用的软件工程师来说，Ollama 可以充当本地推理服务器。它对外提供了一个标准的 REST API（基于 Web 的通信接口），默认监听本地端口（localhost:11434）。该端点接收结构化请求（例如消息数组），并以流式传输或批处理格式返回模型生成的结果。为了让开发更加顺畅，该项目还为 Python（ollama-python）和 JavaScript（ollama-js）提供了官方维护的客户端开发包。

丰富的生态与社区集成

根据项目仓库中的记录，Ollama 支持由第三方工具、框架和用户界面组成的庞大生态圈：

• Web 与桌面端界面： 偏好可视化界面而非终端命令的用户，可以将 Ollama 接入各类前端，例如 Open WebUI、LibreChat、Lobe Chat、NextChat、AnythingLLM、Dify.AI 以及 Cherry Studio。
• 代码编辑器： 开发者可以借助 Continue、Cline、Void 和 AI Toolkit for VS Code 等工具，直接将 Ollama 模型接入代码编辑器与开发环境中。
• 智能体与编排框架： 软件系统可以通过 AutoGPT、crewAI、Semantic Kernel 和 LangChain 等工具，将 Ollama 模型集成到智能体工作流中，覆盖 Python、JavaScript、Java、Go、Rust 和 .NET 等多种编程语言。
• 知识库与 RAG（检索增强生成）： Ollama 能连接 RAGFlow、Casibase 和 R2R 等检索增强生成平台——即通过从外部文档中检索事实信息，为模型补充私有或特定领域上下文的系统。
• 数据库与可观测性： 该系统还能与 PostgreSQL 的向量数据库工具 pgai，以及 Langfuse 和 OpenLIT 等可观测性平台连通，以便监控 Token 用量和系统性能指标。

怎么开始

开始使用 Ollama 只需要完成安装应用程序、下载模型，并选择适合你的交互方式。

安装方式

用户可以通过终端命令或官方安装包在主流操作系统上安装 Ollama：

macOS： 在终端中运行以下安装命令：

curl -fsSL https://ollama.com/install.sh | sh

此外，也可以直接从官方网站下载安装包（Ollama.dmg）进行手动安装。

Windows： 在 PowerShell 中运行以下命令：

irm https://ollama.com/install.ps1 | iex

Windows 用户也可以下载手动安装的可执行程序（OllamaSetup.exe）。

Linux： 运行官方提供的自动化 Shell 脚本：

curl -fsSL https://ollama.com/install.sh | sh

项目文档中也同时提供了详尽的手动安装步骤。

Docker 与包管理器： 采用容器化工作流的用户可以从 Docker Hub 拉取官方镜像 ollama/ollama。此外，Ollama 也被收录到了多个软件包管理器中，包括 Homebrew、Pacman、Nix、Helm Charts、Gentoo、Flox 以及 Guix。

在终端运行模型

安装完成后，在终端中直接运行基础命令即可启动界面：

ollama

该提示符允许你选择要执行的模型，或将 Ollama 关联至已有的智能体。

若要立即下载并开始与 Gemma 4 等模型对话，可以运行：

ollama run gemma4

若要启动特定的编程智能体集成或通讯助手，可以使用专门的启动命令：

ollama launch claude

ollama launch openclaw

调用 REST API

当 Ollama 处于运行状态时，外部应用可以与其本地的 REST API 进行通信。例如，可以使用 curl 发送对话请求：

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{
    "role": "user",
    "content": "Why is the sky blue?"
  }],
  "stream": false
}'

使用 Python 与 JavaScript 进行开发

开发者可以使用官方提供的软件开发工具包（SDK）通过编程方式与模型交互。

Python 环境： 通过 pip 安装库：

pip install ollama

随后只需编写几行 Python 代码即可调用模型：

from ollama import chat

response = chat(model='gemma4', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response.message.content)

JavaScript 环境： 通过 npm 安装依赖包：

npm i ollama

然后在异步脚本中调用模型：

import ollama from "ollama";

const response = await ollama.chat({
  model: "gemma4",
  messages: [{ role: "user", content: "Why is the sky blue?" }],
});
console.log(response.message.content);

价格与门槛

根据项目仓库元数据，Ollama 软件项目基于开源 MIT 许可证分发。具体的定价条款、云托管计划及账户选项可能会有所调整，可直接在官方页面上查看。

在运行要求方面，Ollama 支持 macOS、Windows 和 Linux 操作系统，以及容器化的 Docker 环境。它还可以部署在 Google Cloud、Fly.io 和 Koyeb 等云托管环境中。由于 Ollama 是通过底层的 llama.cpp 引擎在本地或指定服务器上执行模型，因此整体硬件配置门槛（如可用系统内存 RAM、处理器性能以及图形加速能力）取决于所加载开源模型的具体规格与参数体量。

适合谁

对于希望对自身 AI 工作流拥有更高掌控力的几类用户群体，Ollama 尤为契合：

• 注重数据隐私的用户： 处理敏感通讯或专有业务数据，并希望确保所有提问与提示词始终严格留在本地设备或专属私有云基础设施中的用户。
• 软件工程师与 Web 开发者： 希望快速获得本地 AI 代码补全、进行离线调试辅助，或需要本地 API 后端来驱动自身桌面端、网页端或移动端应用的程序员。
• AI 应用开发者与研究人员： 正在构建多智能体系统、搭建本地 RAG 知识库流水线，或希望评测来自 DeepSeek、Google、Alibaba 等机构的各类型开源权重模型，同时又无需订阅第三方付费 API 的技术人员。
• 自托管爱好者与进阶极客： 希望搭建专属家庭智能助手、终端 Copilot，或是为 Discord、Slack、Telegram、WhatsApp 等通讯平台打造团队内部机器人的技术爱好者。

替代品

• llama.cpp 是一个开源项目，旨在跨多样化的计算环境运行大型语言模型。
• LM Studio 是一款允许用户在个人电脑上探索、运行并试验本地 AI 模型的应用程序。

来源

• https://github.com/ollama/ollama
• https://ollama.com/
• https://github.com/ggml-org/llama.cpp
• https://lmstudio.ai/