HybridInference
English 简体中文

入门

  • 快速开始
    • 需要准备什么
    • 阶段 1：证明 router 能正常工作
      • 自己动手检查网关
    • 阶段 2：继续接入 Web Console 与 Admin Console
    • 阶段 3：把假 provider 换成本地推理
    • 示例里有什么
    • 接下来去哪里
    • 停止、恢复与重置
    • 故障排查
      • 端口已被占用
      • 无法连接 Docker daemon
      • /v1/models 为空，且 routes_configured: 0
      • make up 选中了别的 distribution
      • 跑到一半后重新开始
      • 查看出问题的服务
  • 安装
    • 需要准备什么
    • 用 Docker 快速开始
      • 全新的服务栈会提供哪些模型
    • 开发用检出（不用 Docker）
    • 配置
      • 环境变量
      • Provider 凭据
      • 配置文件在哪里
    • 验证安装
    • 文档
    • 故障排查
  • 配置
    • 网关启动时读什么
    • 配置放在哪里
    • 网关如何找到自己的配置
    • distribution manifest
      • 默认是 dark 模式，这是有意为之
      • 站点标识，以及 manifest 里不能放什么
    • 示例 distribution
    • 全新克隆、完全没有配置时会怎样
    • 模型注册表
    • 路由文件
    • 环境变量
    • 用你自己的配置运行

概念

  • 架构
    • 四个层次
    • 请求生命周期
      • 1. 中间件
      • 2. 认证与配额
      • 3. 模型门禁
      • 4. router 选择
      • 5. 分发、回退与熔断器
      • 6. 日志
    • 路由引擎详解
      • router 与策略
      • 两层「策略」
      • provider 与 endpoint_id
    • Adapters
    • 配置
    • 存储
    • 可观测性
    • HTTP 接口
    • 部署形态
    • 设计原则
  • 路由
    • 架构
    • 为每个模型选择 router
    • FixedRouter 如何挑选端点
      • 回退
    • 端点健康与熔断
    • prefill 感知的选路
    • 会话亲和
    • API 端点
    • 添加一个路由策略
      • 1. 理解这份契约
      • 2. 拿到路由
      • 3. 写策略模块
      • 4. 在导入时注册它
      • 5. 选用它
      • 6. 测试它
    • RouteWise
    • 为某个层级预留上游 key
  • 边缘与控制台路由
    • 路径表
      • beforeFiles——cloud agent 代理
      • afterFiles——网关
    • 为什么 /pgadmin 是 route handler 而不是 rewrite
      • 与尾斜杠的相互作用
    • 新增一条公开路径

指南

  • 添加新模型
    • 模型注册表在哪里
    • 快速开始：为已有 provider 添加模型
    • 添加新的 provider
      • 第 1 步：先判断到底需不需要 adapter
      • 第 2 步：编写 adapter（仅限自定义协议）
      • 第 3 步：把模型加进注册表
      • 第 4 步：配置环境变量
      • 第 5 步：通过网关验证
    • 配置参考
      • 模型字段
      • 路由配置
      • 支持的 adapter kind
      • 混合路由
    • BaseAdapter API 参考
    • 进阶功能
      • 多模态支持
      • 工具 / function calling
      • 结构化输出（JSON mode）
      • 限流（按 provider 的限流并不存在）
    • 示例
    • 排查
      • 模型没有出现在 /v1/models 里
      • 鉴权失败
      • 响应格式错误
      • 流式问题
    • 最佳实践
    • 另见
  • 添加新的本地模型
    • 概览
    • 私有服务器（不接公网）
    • 第 1 步：启动本地模型服务器
    • 第 2 步：把模型加进注册表
      • 在仪表盘中给路由命名
    • 第 3 步：添加可选的远程回退
    • 第 4 步：重启网关
    • 第 5 步：通过网关验证
    • 路由说明
      • 在 sglang 路由上优先调度 decode
      • 在 sglang 路由上记录前缀缓存未命中
    • 排障
      • 模型没有出现在 /v1/models 中
      • 网关访问不到本地服务器
      • 注册之后请求失败
    • 另请参阅
  • 通过 OpenRouter 路由
    • 默认的模型目录
    • 路由语法
      • kind: openrouter
      • kind: openrouter[<slug>]
      • 排序策略
    • adapter 发出的内容
    • 成本核算
    • API key
    • 错误处理
    • 排查
  • 在 HPC 集群上提供模型服务
    • 1. 申请一个节点
    • 2. 让容器镜像可以离线取用
    • 3. 启动模型服务器
    • 4. 把它隧道到网关主机
    • 5. 注册路由
    • 6. 用完后释放所有东西
  • Claude Code 接入配置
    • 配置
    • 模型家族与别名
    • 使用与验证
    • 故障排查
    • 卸载
  • 文档 RAG 助手
    • 架构
    • 代码地图
    • 重建索引
    • 部署
    • 端点
      • 日志与配额
    • 配置
    • 原型阶段的局限

运维

  • 部署指南
    • 这套服务栈是什么
      • 把它放到公网上
    • 日常运维
      • 一次改动到底需要做什么
    • 配置
      • 环境变量
      • 配置文件的解析顺序
      • 本地推理服务器
    • 健康检查
    • 告警
    • 数据库
      • pgAdmin（可选）
    • 故障排查
      • 某个服务起不来
      • 重置这套服务栈
      • 改动代码后重新构建
  • 数据库
    • 数据库是必需的吗？
    • 连接设置
    • 表结构是怎么创建出来的
    • 各张表存了什么
    • 请求日志与隐私
    • 备份
    • 重置
    • 查看数据库
    • 可选：pgAdmin
      • 启动与重启
      • 认证
      • 注册数据库
      • 重置 pgAdmin
  • 运行非生产实例
    • compose 文件会启动什么
    • 发布出来的端口
      • 控制台的默认地址不是回环地址——改掉它
    • 配置：它对外提供哪些模型
    • 环境变量
    • 账号，以及怎样才不会把管理员权限白送出去
    • 启动
    • 通过 SSH 隧道访问
    • 日常操作
    • 重置数据库
  • 受信任的代理与客户端 IP
    • 两个信任开关
    • 解析顺序
      • 什么算可路由
      • 已知限制
      • Cloudflare Pseudo IPv4
    • 分桶：为什么 IPv6 要折叠到 /64
      • 纯 IPv4 源站上出现 IPv6 客户端是正常的
    • 会写进日志的内容
    • 会持久化的内容
      • 保留期由你自己定
    • 验证你的配置
  • 自动化评分（人类 vs. 脚本）
    • 代码位置
    • 输入
    • 各个信号
      • 1. turn_pattern——用户轮次
      • 2. prompt_size_dispersion——用户轮次长度
      • 3. client_tool_prior——user-agent
      • 4. daily_activity_shape——日活动形态
      • 5. tool_call_human_tell——辅助信号
      • 6. agent_opener_override——辅助信号
      • 7. user_message_shape——用户消息长度与熵
    • 信号的组合
    • 档位
    • 注意事项
    • 用 CLI 复现
  • Codex On-Call
    • 运行时边界
    • 配置 GitHub
    • 配置 relay
    • 后端：cloud agent
    • 启用 Compose profile
    • Compose 网络之外的生产者
    • 冒烟测试

参与贡献

  • 参与贡献
    • 环境准备
    • 仓库结构
    • 质量门禁
    • 测试
      • 前端
    • 文档
      • 翻译
        • 翻译成中日韩语言时
        • 翻译是怎么上到已发布站点的
        • 抓「翻译悄悄退回英文」的那道检查
    • 提出改动
      • CI 会跑什么
HybridInference
  • 搜索

© 版权所有 2026, The HybridInference contributors。

利用 Sphinx 构建，使用的 主题 由 Read the Docs 开发.