本地运行大语言模型：Ollama 与 Open WebUI 部署指南

是什么

在本地运行大语言模型（通常简称为 LLM），是指完全依托个人电脑自身的硬件设备来部署和运行人工智能程序。与将提示词和敏感数据通过互联网传输至远程企业数据中心的传统方式不同，本地运行让所有计算均在本地设备上完成。这种架构不仅能切实保障数据隐私、支持无网离线使用，还能让用户完全掌控所用的模型及全部历史对话记录。

为了获得流畅的本地 AI 使用体验，通常会将两款核心工具搭配使用：Ollama 与 Open WebUI。

Ollama 充当本地模型的执行引擎与管理器。根据其代码仓库的元数据，Ollama 基于开源 MIT 许可证发布，大幅简化了在本地或云端环境中获取、配置与运行开源模型的操作流程。它封装了底层机器学习推理的复杂技术细节，并采用由 Georgi Gerganov 发起的开源项目 llama.cpp 作为后端支持引擎。Ollama 负责下载模型权重文件、将其加载至内存，并提供本地 REST API 与命令行交互接口。

Open WebUI 则是直接面向用户的可视化前端界面。它是一个可扩展的私有化部署 Web 界面，为用户提供类似主流现代聊天软件的清爽浏览器交互环境。当 Ollama 在后台承担运行模型权重的核心计算时，Open WebUI 则提供了图形化操作界面，供用户输入提问、浏览回复、上传参考资料以及调整各项设置。两者强强联合，即可在个人电脑上搭建起一套功能完备、高度独立的本地 AI 工作站。

能做什么

Ollama 与 Open WebUI 的组合提供了一个功能多元的环境，覆盖了日常交互式对话、编程开发辅助、文档检索以及第三方平台集成等多种场景。

模型运行与生态集成

Ollama 支持在电脑上运行丰富的开源模型库，包括 Gemma、DeepSeek、Qwen、Kimi、GLM、MiniMax 以及 gpt-oss 等。用户不仅可以在命令行中直接与模型交互，还能通过代码编程调用，或将模型接入各类外部应用与开发工具：

• 编程工具集成： Ollama 可接入多种编程辅助工具、自主智能体与代码编辑器，如 Claude Code、Codex、Copilot CLI、DeepSeek Harness、Droid 和 OpenCode。其生态体系还涵盖对大量编辑器及扩展插件的支持，例如 Cline、Continue、Void、Copilot for Obsidian、twinny、gptel、Ollama Copilot、Obsidian Local GPT、Ellama、orbiton、AI ST Completion、VT Code、QodeAssist、AI Toolkit for VS Code、Open Interpreter 以及 oxi。
• 即时通讯与 AI 助手： 借助 OpenClaw 集成，Ollama 能够化身为跨平台的 AI 助手，打通 WhatsApp、Telegram、Slack 和 Discord 等通讯应用。社区开发的机器人也同样支持 Telegram 与 Discord 等平台。
• 开发语言库与应用框架： Ollama 提供了官方的 Python 库（ollama-python）和 JavaScript 库（ollama-js），同时拥有 Go、Java、Rust、Ruby、C#、.NET、Swift、Julia、PHP 和 Dart 等语言的社区封装库。此外，它还能无缝对接 AutoGPT、crewAI 等智能体框架，以及 Opik、OpenLIT、Lunary、Langfuse 等大模型可观测性与监控平台。

网页界面与工作空间特性

Open WebUI 提供了丰富的功能，用以管理和增强对话交互体验：

• 对话交互体验： Open WebUI 既能直接连接本机运行的 Ollama 实例，也可远程接入部署在外部服务器上的 Ollama 服务。
• 文档分析与检索增强生成（RAG）： 该平台能直接读取纯文本格式文件，涵盖 CSV、HTML、TXT、MD、Markdown、RST 和 XML。若需解析 PDF 或 Office 文档等复杂格式，Open WebUI 支持接入 Tika 或 Docling 等外部文档提取工具。它支持基于 PostgreSQL 与 pgvector 的向量数据库存储，并能连接 Ollama、OpenAI 或 Azure OpenAI 的嵌入（Embedding）服务，实现知识库检索与文档问答。
• 语音与音频处理： Open WebUI 支持接入第三方语音转文字（STT）与文字转语音（TTS）服务，其标准容器镜像中也内置了语音及嵌入运行环境。
• 代码解释器： Open WebUI 集成了基于 Pyodide 的代码解释器，能够直接在浏览器环境中安全执行 Python 代码。
• 多用户认证与隐私模式： 平台既支持带有独立账号登录的多用户协同环境，也能免认证单人运行。对于高敏感或隔离网络环境，其提供的离线模式选项可全面杜绝向外部服务（如 Hugging Face）发起出站连接。

怎么开始

上手流程主要包括：在宿主操作系统中安装并启动 Ollama、下载并运行一个模型，最后通过 Docker 部署 Open WebUI。

第一步：安装并启动 Ollama

Ollama 针对 macOS、Windows 和 Linux 系统均提供了便捷的安装方式。

在 macOS 系统中，可直接在终端中运行以下命令完成安装：

curl -fsSL https://ollama.com/install.sh | sh

用户也可以前往项目官网下载安装包文件（Ollama.dmg）进行手动安装。

在 Windows 系统中，可在 PowerShell 中执行以下命令：

irm https://ollama.com/install.ps1 | iex

或者手动下载 OllamaSetup.exe 安装程序进行安装。

在 Linux 系统中，直接运行安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，在终端中启动 Ollama：

ollama

若要下载并立即启动一个开源模型（如 Gemma 4）进行对话交互，只需运行：

ollama run gemma4

第二步：使用 Docker 部署 Open WebUI

官方推荐且正式支持的 Open WebUI 安装方式是使用 Docker。Docker 会在机器上创建独立的容器来运行该界面。

在启动容器前，建议在终端中执行 openssl rand -hex 32 生成一个由 32 字节十六进制字符组成的持久化密钥。设置固定的密钥能够确保容器在重启后用户的登录状态依然有效。

执行以下命令使用标准镜像启动 Open WebUI，请将其中的 your-secret-key 替换为您刚才生成的密钥：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main

各运行参数含义说明：

• -d：在后台以守护进程模式运行容器。
• -p 3000:8080：将容器内的服务映射至本机的 3000 端口，可通过浏览器访问。
• --add-host=host.docker.internal:host-gateway：使 Open WebUI 容器能够通过内部网络直接连接宿主机上运行的 Ollama。
• -v open-webui:/app/backend/data：挂载 Docker 持久化数据卷，确保重建容器时用户账号、聊天记录和各项配置不会丢失。
• -e WEBUI_SECRET_KEY=your-secret-key：维持用户身份验证会话，避免容器重启后登录凭据失效。
• --restart always：确保宿主机重启后容器会自动拉起。

第三步：一体化整合镜像（可选）

Open WebUI 还提供了将 Ollama 与 Open WebUI 打包在同一容器内的整合镜像方案。

纯 CPU 运行环境部署命令：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

具备受支持 GPU 硬件的环境部署命令：

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

容器启动完成后，在任意浏览器中打开 http://localhost:3000，即可创建初始管理员账号并开始对话。

价格与门槛

具体价格与方案以官方项目主页为准，最新详情可访问 Ollama 与 Open WebUI 快速入门文档。根据代码仓库元数据，Ollama 属于基于 MIT 许可证分发的开源软件。

系统与硬件要求

• 操作系统： Ollama 支持 macOS、Windows 和 Linux。Open WebUI 支持基于 x86_64 和 ARM64 架构的 macOS、Windows 及 Linux 平台（涵盖树莓派 Raspberry Pi 以及 NVIDIA DGX Spark 等硬件设备）。
• 运行环境依赖： Open WebUI 的推荐部署方式需要使用 Docker。同时，它也支持在轻量或低资源环境下通过 Python 直接部署，或在企业级编排环境中使用 Kubernetes 部署。
• GPU 硬件加速： 模型既可在 CPU 上运行，也支持 GPU 硬件加速。Open WebUI 提供了针对 CUDA 12.8（镜像标签为 :cuda，运行时需附加 --gpus all）以及 CUDA 12.6（镜像标签为 :cuda126）的专用容器镜像。
• 存储空间与镜像体积： 根据 Open WebUI 官方文档，不同容器镜像版本的下载体积有所差异。标准的 :main 镜像在 Linux/amd64 架构下的下载体积约为 1.62 GB，因其内置了机器学习组件栈、本地嵌入模型与语音运行环境；而精简版 :slim 镜像体积约为 196 MB（体积缩减达 88%，首次拉取镜像可节省约 1.42 GB 空间，数据核准于 2026 年 10 月 10 日），该版本移除了内置模型运行时，改由外部服务提供支持。
• 数据库支持： Open WebUI 原生支持 SQLite 和 PostgreSQL 数据库，并支持将文件保存在本地存储或 Amazon S3 对象存储桶中。

适合谁

Ollama 与 Open WebUI 的强强联手适合各类用户群体：

• 初学者与普通用户： 希望在个人电脑上获得简单易用、注重隐私的 AI 对话体验，无需将私人对话或敏感文件上传至第三方云端服务的用户。
• 软件开发者： 期望借助 REST API 和原生客户端库，将本地大语言模型接入代码编辑器、命令行终端或自定义开发项目的程序员。
• 系统管理员与企业团队： 需要在局域网或物理隔离（Air-gapped）环境中私有化部署多用户 Web 平台，并对用户权限、数据存储和私有知识库拥有完整控制权的技术管理人员。
• 科研人员与技术极客： 热衷于在消费级硬件设备上探索和评测不同开源模型架构的技术爱好者。

替代品

• LM Studio：一款专为在个人电脑上探索、下载和运行本地大语言模型而设计的桌面客户端软件。
• llama.cpp：一个开源基石项目，为在消费级硬件上运行大语言模型提供核心底层推理引擎支持。

来源

• Ollama
• Open WebUI 快速入门文档
• LM Studio
• llama.cpp