Open WebUI部署本地模型

介绍

Open WebUI 是一个开源的、用户友好的 Web 用户界面，专为管理和操作大型语言模型（LLMs）设计。它支持多种模型运行器，包括 Ollama 和兼容 OpenAI API 的模型，提供了丰富的功能和直观的界面，使用户能够轻松地与本地或云端的大模型进行交互。

特点

支持代码语法高亮、Markdown 和 LaTeX 渲染，提升交互体验
支持多种 LLM 运行器，包括 Ollama 和 OpenAI 兼容的 API
支持多模态交互（如文本、图像），适用于复杂的 AI 应用场景
集成检索增强生成（RAG）技术，允许用户将文档、网站等内容作为上下文信息
支持语音输入和图像生成功能（如 DALL-E API）
提供基于角色的访问控制（RBAC），确保只有授权用户才能访问敏感信息
丰富的社区贡献和插件支持

仓库

仓库：Open WebUI

官网：Open WebUI

文档：🏡 Home | Open WebUI

部署

使用 docker compose 部署，docker-compose.yml ：

# version: '3'
# services:
#   openwebui:
#     image: ghcr.io/open-webui/open-webui:main
#     ports:
#       - "3000:8080"
#     volumes:
#       - ./data:/app/backend/data

# version: '8'
services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ./ollama:/root/.ollama
    networks:
      - ollama-net

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_API_BASE=http://ollama:11434
    volumes:
      - ./open-webui:/app/backend/data
    depends_on:
      - ollama
    networks:
      - ollama-net

networks:
  ollama-net:
    driver: bridge

ollama 是本地模型管理器，需要配合使用

如果你部署的机器有 NVIDIA 显卡，可以增加 GPU 的支持：

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:cuda
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]

如果是 AMD 的显卡，需要配置环境变量：HSA_OVERRIDE_GFX_VERSION 以支持特定 GPU 架构，更详细的配置可以参考官方文档：🏡 Home | Open WebUI

配置ollama

使用 docker compose up -d 启动容器之后，访问 http://localhost:3000 即可进入管理界面，创建好管理员账户之后登录后台面板，如果需要公网访问，只需使用 nginx 或者其他工具反代 3000 端口，ollama 的链接不用反代，内网容器之间进行访问即可。

首先设置 ollama 链接，打开管理员面板 - 设置 - 外部链接：