本地模型接口网关:New-API部署与令牌分发

本地 Ollama 跑起来只是第一步。真正接第三方应用时,问题会从"模型能不能运行"变成"接口怎么统一":每个应用各存一套地址和参数,加一个模型多一份配置,想给不同客户端单独发令牌更是管理灾难。New-API 的价值就是把这一层收口——统一渠道管理、统一 OpenAI 兼容接口、按令牌分发额度。本文走通 NAS 部署到外网访问的完整链路。

网关的四个核心能力

New-API 基于 One API 升级,与本文链路直接相关的四个能力:异构接口转换——数十种大模型 API 乃至本地 Ollama 统一转成 OpenAI 格式,下游零改造接入;令牌级管控——每个 Token 可设额度、并发频率、有效期,算力跨网分享不失控;渠道池路由——多个 API 整合进通道池,按权重轮询加故障重试,规避单点失效;用量看板——每个模型、每次请求、每个用户的 token 消耗与延时全记录。

部署链路五步走

第一步,NAS 环境准备。飞牛 NAS 桌面确认 Docker 服务开启,系统设置里启用 SSH,终端 ssh 连上后 sudo -i 切 root。

第二步,一键部署。拉取 SQLite 版部署脚本,授权执行;安装位置选外置硬盘(N1 盒子本身存储有限),部署完成后浏览器访问确认页面打开:

ssh user@nas-ip          # 连接 NAS 终端
sudo -i                  # 切 root
curl -L -o deploy_sqlite.sh <部署脚本地址> && ls
chmod +x deploy_sqlite.sh && bash deploy_sqlite.sh   # 安装位置选外置盘

第三步,初始化。数据库检查一路下一步,创建管理员账号,使用模式选自用模式——对外分发场景才需要考虑运营模式。完成后登录后台。

第四步,准备上游模型。Windows 侧装 Ollama,拉一个小模型(1GB 级的 0.8B 足够验证链路),先本机对话确认模型正常,再用 curl 打 http://localhost:11434 确认 API 可响应——上游没验证就接网关,出问题时排查面会扩大一倍。

第五步,渠道接入与令牌分发。New-API 后台添加 Ollama 渠道,填上游地址和模型名;创建令牌并设额度;用令牌走 OpenAI 兼容接口发真实请求。验证的不只是"后台看到渠道",而是 Ollama → New-API → Token → OpenAI 兼容请求整条链路通。

外网访问与验收标准

局域网内的网关价值有限,用内网穿透把管理页和接口暴露到外网后才算完成分发闭环。穿透工具选型注意一点:接口流量走中转服务器时延迟会增加,对延迟敏感的场景优先选支持 P2P 的方案。

验收清单四条,逐条过:

  1. 渠道测试:后台渠道连通性测试通过;
  2. 令牌边界:额度用尽后请求被正确拒绝,而不是放行;
  3. 格式兼容:下游用标准 OpenAI SDK 直连成功,字段无缺失;
  4. 用量落账:看板里能看到按令牌、按模型的消耗记录——这既是成本核算,也是异常调用的审计依据。

生产化前的三个提醒

令牌即凭证:分发出去的令牌按客户端隔离,一个客户端一个令牌,泄露时可单独吊销而不影响全局;渠道池要配故障转移——上游 Ollama 挂了自动切备用渠道,网关层的高可用才有意义;NAS 这类 ARM 设备跑网关转发没问题,但别在同一台机器上同时跑大模型推理,内存争抢会让整条链路一起抖。网关的本质是把"模型能力的分发"从散装配置变成可管理的资产,链路通了之后,管理动作都发生在 New-API 一层,下游应用只认一个地址一个令牌。

0

评论0

请先
显示验证码
没有账号?注册  忘记密码?