跳到正文

企业级 AI 网关

GateLLM

把多个大模型上游收成一个入口,统一做路由、协议互译、负载均衡与可观测

多上游聚合 · 协议互译 · 多密钥加权分发 · 负载均衡 · 访问控制 · 可观测性

bash
$ docker pull ghcr.io/gatellm-io/gatellm:latest

一分钟装好

bash
$ docker run -d \
  --name gatellm \
  -p 7890:7890 \
  -e STORAGE_MODE=sqlite \
  -v gatellm-data:/var/lib/protoflux \
  ghcr.io/gatellm-io/gatellm:latest

零配置启动:镜像默认开控制台,首次启动自动生成管理员密码并打印一次。抓到密码即可登录 控制台 配上游、模型、密钥。完整 8 步(约 5 分钟)走 Docker 单机跑通

两类读者,两条路径

这份手册面向终端用户——使用产品的人。无论你是哪一类,都建议先跑通 Docker 单机,再按角色分流:

你是你要做的事先看
接入方 / 调用方把客户端应用接到网关,通过网关调用模型Docker 单机跑通端点 · 认证 · 协议互通客户端接入与网关差异错误码
管理员 / 运营者在控制台管理用户、密钥、上游、模型、路由,看统计与日志Docker 单机跑通控制台登录与角色总览仪表板字段速查索引

按目标找方案

不知道从哪开始?按你想达成的目标找:

目标起点
降低调用成本降低调用成本
做到高可用 / 容灾做到高可用
多租户隔离多租户隔离
满足合规与审计满足合规与审计要求
排查问题从症状出发排障
请求改写选型请求改写与路由:怎么选
上线自检上线检查清单
脚本性能与内存脚本性能与内存
访问控制设计访问控制设计

这份手册不讲什么

  • 不讲架构与设计原理。本手册只讲操作。
  • 不抄上游 API 规范OpenAI / Anthropic / Gemini 各自的请求/响应字段规范,请查上游官方文档。本手册只讲网关特有的东西:端点、认证、协议互译能力、客户端接法、网关相对原生 API 的差异。

示例中的默认值与占位符

  • 网关默认监听 http://localhost:7890,文中示例以此为准;部署到别处把 localhost:7890 换成你的地址即可。
  • 控制台地址 http://localhost:7890/console
  • 示例中的 API key(sk-...)是占位符,请替换为你自己签发的访问密钥。