OrangeRouter — 纯 LLM 路由系统

纯 LLM 路由

面向多模型后端的统一入口，路由决策由 LLM 推理完成。

OrangeRouter 是一组轻量级基础设施：对外提供统一入口，后端对接多条模型链路，由 LLM 在请求抵达后端集群之前完成路由决策——先理解请求语义，再判定路由目标。

这一思路的目标，是让模型能力、请求语义与业务策略共同驱动路由，而非依赖难以维护的静态规则表。本站介绍其问题背景、技术方案与设计取舍。

了解技术方案为什么需要 LLM 路由

设计原则

03 / 原则

01
决策基于语义

当请求携带对话、工具调用或模糊意图时，静态规则表很快便难以适应变化。路由决策应理解请求语义，而非仅匹配单一字段。
02
统一入口

调用方无需自行记忆「这条走 A 家的小模型、那条走 B 家的大模型」。一个端点、多条后端，由中间层完成一次决策。
03
权衡透明

延迟、成本与可观测性是方案设计的一等考量。相关取舍在技术方案页中明确给出，而非掩盖为细节。

请求路径

概念图 · 非最终实现

// 客户端 → router → 路由目标

客户端 SDK / 应用

OrangeRouter 由 LLM 决策

Backend A · 大模型

Backend B · 轻量模型

Backend C · 自建

与相关概念的区分

03 / 区分

API 网关本项目的关注点在于「本次请求进入哪个模型、为何如此」，而非仅限于鉴权、限流与转发。
负载均衡 upstream 列表能够分摊流量，但不会解析请求体。本项目依据请求承载的语义进行路由。
简单 Prompt 路由常见做法是对请求进行一次分类打标；本项目的目标是贯穿整条链路、与策略绑定的决策与备选方案。

路由，应当读懂数据。OrangeRouter 把路由决策交给一次 LLM 推理，让语义与策略成为决策依据。设计依据见背景页，实现细节见技术方案页。