跳到正文

企业级 AI 网关

GateLLM

把多个大模型上游收成一个入口,统一做路由、协议互译、负载均衡与可观测

多上游聚合 · 协议互译 · 多密钥加权分发 · 负载均衡 · 访问控制 · 可观测性

bash
$ docker pull ghcr.io/gatellm-io/gatellm:latest

一分钟装好

bash
$ docker run -d \
  --name gatellm \
  -p 7890:7890 \
  -e STORAGE_MODE=sqlite \
  -v gatellm-data:/var/lib/protoflux \
  ghcr.io/gatellm-io/gatellm:latest

零配置启动:镜像默认开控制台,首次启动自动生成管理员密码并打印一次。抓到密码即可登录 控制台 配上游、模型、密钥。完整 8 步(约 5 分钟)走 Docker 单机跑通

⚠️ 这条一分钟命令是零配置,没带 ENCRYPTION_KEY。容器能起、控制台能登,但第一次保存上游 / 签发访问密钥会报 encryption_key not set in config。要配出真正可用的上游,先按 Docker 单机跑通 → 前置 生成 ENCRYPTION_KEY 并带上它再启动。

如果你要让 coding agent(Claude Code / Cursor / Codex 等)帮你装,见 Agent 辅助安装

两类读者,两条路径

这份手册面向终端用户——使用产品的人。无论你是哪一类,都建议先跑通 Docker 单机,再按角色分流:

你是你要做的事先看
接入方 / 调用方把客户端应用接到网关,通过网关调用模型Docker 单机跑通端点 · 认证 · 协议互通客户端接入与网关差异错误码
管理员 / 运营者在控制台管理用户、密钥、上游、模型、路由,看统计与日志Docker 单机跑通控制台登录与角色总览仪表板字段速查索引

按目标找方案

不知道从哪开始?按你想达成的目标找(各场景的适用对象、难度与详细说明,以 场景方案总览 为准):

目标起点
增强模型能力增强模型能力
降低调用成本降低调用成本
做到高可用 / 容灾做到高可用
多租户隔离多租户隔离
Office / Microsoft 365 加载项Office / Microsoft 365 加载项
满足合规与审计满足合规与审计要求
排查问题从症状出发排障
请求改写选型请求改写与路由:怎么选
上线自检上线检查清单
脚本性能与内存脚本性能与内存
访问控制设计访问控制设计

这份手册不讲什么

  • 不讲架构与设计原理。本手册只讲操作。
  • 不抄上游 API 规范OpenAI / Anthropic / Gemini 各自的请求/响应字段规范,请查上游官方文档。本手册只讲网关特有的东西:端点、认证、协议互译能力、客户端接法、网关相对原生 API 的差异。

示例中的默认值与占位符

  • 网关默认监听 http://localhost:7890,文中示例以此为准;部署到别处把 localhost:7890 换成你的地址即可。
  • 控制台地址 http://localhost:7890/console
  • 示例中的 sk-...上游 API key 的占位符(如 OpenAI / Anthropic 的密钥),请替换为你自己的上游 API key。它不是网关访问密钥——网关密钥在文中写作 <你的访问密钥>,由你在控制台签发。