模型路由器，才是 AI 产品里隐藏的产品经理

用户看到的是一个输入框，后台面对的却是多个模型、不同上下文长度、工具能力和价格档位。每次请求该由谁回答、要不要升级、是否并行验证，都会改变最终体验。做出这些选择的路由层，正在承担过去由产品经理预先固化的取舍。

FrugalGPT 和 RouteLLM 说明，级联与学习式路由可以在质量与成本之间找到更好的边界。核心不是永远选择最便宜模型，而是让简单请求不占用昂贵能力，让困难或高风险请求及时升级。

路由器先从请求提取任务类型、复杂度、敏感性和时延要求，再结合模型当前价格、容量与历史表现选择路径。它还可以分阶段工作：廉价模型完成分类和草稿，强模型处理高不确定部分，验证失败后再升级。最终用户看到的是一次回答，背后却是一个在质量、速度和成本之间实时做取舍的策略层。缓存、批处理和并发状态也会影响同一请求的最佳选择。

路由器真正需要预测的是任务价值与失败代价。一次标题改写可以快速完成，合同条款分析则需要更强模型、检索和复核。路由决策本质上是产品承诺的实时定价：系统在毫秒内决定愿意为这位用户的这次结果投入多少资源。

路由也可能把局部优化变成系统性伤害。若奖励只看成本，它会把困难请求长期送往弱模型；若依赖模型自报置信度，过度自信会阻止必要升级。不同用户被分配到不同能力还会造成隐蔽的不公平。更现实的故障是供应商限流或版本漂移，使昨天有效的策略在没有明显报错时逐渐失准。这类慢性退化比一次明确宕机更难发现。

成熟路由通常结合规则与学习。硬规则处理数据区域、合规、工具兼容和最大上下文；分类器估计任务类型与难度；运行中再根据置信度、验证结果和用户等待情况升级。只按关键词选模型，容易被表达方式欺骗，也无法利用执行反馈。

路由失败有两种相反伤害：过度升级抬高成本与延迟，升级不足则让用户拿到低质量结果。最危险的不是选错模型，而是用户不知道系统降级了。当网络、配额或供应商故障触发替代方案时，产品应保留关键能力边界并清晰提示。

上线前应为每条路由规则建立可解释的离线回放，并在小流量中比较实际完成率。记录候选模型、选择原因、升级过程和最终验收，不只记录被选中的输出。业务方需要设定质量底线与高风险强制路径，成本优化只能在边界内进行。持续监测分群差异，才能发现某类任务被路由策略悄悄牺牲。策略更新还需保留回滚版本，避免全量学习错误反馈。

数据闭环来自路由后的真实结果。团队要记录任务特征、选中模型、成本、延迟、验证分数、人工接管和用户重试，再分析哪些请求值得升级。隐私敏感字段应在进入日志前脱敏，不能为了优化路由建立新的数据风险。

组织上，路由策略需要产品、工程与财务共同维护。产品定义体验等级，工程保证可切换性，财务给出预算约束，安全团队规定不可跨越的供应商边界。它应该像推荐系统一样拥有独立指标与实验框架，而不是散落在 if-else 中。

路由器之所以像产品经理，是因为它把抽象战略变成每次交付的资源决定：谁值得等待，哪种错误可以接受，何时需要更强能力。这个权力不应藏在一段后端条件语句里。长期来看，优秀路由来自组织对任务价值的理解，并通过反馈不断更新；它经营的不是模型库存，而是用户承诺。因此，路由规则也需要产品、工程与风险团队共同治理。

未来 AI 产品的差异不会只来自接入了哪个前沿模型，而来自能否把许多模型编排成稳定一致的服务。模型是能力库存，路由器决定用户实际买到什么。隐藏的产品经理一旦被显式设计，质量与毛利才可能同时改善。

路由的反馈标签往往来得很晚。用户没有投诉不代表答案正确，点击复制也未必意味着任务完成。团队可以结合后续编辑量、工具验收、人工升级和明确反馈建立弱标签，再用少量高质量人工样本校准。若奖励信号只偏向即时互动，路由器会学会选择更讨喜的模型，而非真正解决问题的模型。

以《模型路由器，才是 AI 产品里隐藏的产品经理》为例，真正可落地的单位不是一次模型调用，而是一张任务卡：输入来自哪里、允许调用哪些工具、什么证据可以判定成功、超过多长时间或多少成本就必须停止。把这些条件写成运行时契约，团队才能区分“模型给了一个看似合理的答案”和“系统完成了一项可以交付的工作”。

这类系统最值得警惕的不是显眼的答错，而是稳定地在错误目标上表现得很流畅。检索到过期材料、把相关性误作因果、验证器和生成器共享同一盲点，都会让结果看起来更有条理却并不更可靠。因此评测必须保留反事实、冲突证据和拒答样本，专门测试系统何时应该减速或说不知道。

在供应商故障时，备用模型不应只是接口层的兜底。不同模型对提示格式、工具参数和安全边界的理解可能不同，机械切换会导致静默错误。每条回退路径都需要自己的评估与输出规范，高风险任务宁可暂停也不能随意降级。韧性不是“总有模型回答”，而是故障时仍守住最低交付标准。

运营层面，应把成功率拆成可观察的漏斗：是否理解任务、是否拿到足够证据、是否完成有效行动、用户是否接受结果，以及失败能否低成本恢复。只报一个最终准确率，会掩盖不同环节的瓶颈。按任务价值和风险分层记录这些事件，才能决定昂贵推理、工具调用和人工复核究竟该投向哪里。

随着模型差异缩小，路由价值会从挑选品牌转向编排能力。一次任务可能需要快速分类器、擅长视觉的模型、代码执行器与领域验证器，它们不是简单竞争关系。路由器要决定何时组合、何时独立复核、何时停止。这使它更像运行中的产品架构，把多个不完整能力组织成一份一致体验。

组织也需要为模型行为预留版本纪律。提示词、工具描述、检索索引、模型权重和评测集中的任何一项变化，都可能改变结果；没有基线和回放机制，团队无法判断一次升级是在进步还是在转移失败。把运行轨迹与输入版本保存下来，不是为了事后追责，而是为了让改进真正可学习。

长期来看，模型能力会继续变化，难以替代的资产则是对任务的理解：哪些情况可验证、哪些错误代价最高、哪些决策需要人来承担。能把这些判断沉淀为评测、路由和交付边界的产品，才会把通用能力变成持续可靠的服务，而不是把每次模型更新当成一次重新下注。