每天用 Claude Code / Codex，怎么判断中转有没有悄悄降智？

每天用 Claude Code 或 Codex 的时候，很多同学不会一直走官方直连，会改 Base URL / API Key，把请求接到第三方中转。用了一段时间以后，有时会觉得「好像变笨了」：接口还是返回 200，短问答依然流畅，有时甚至因为推演更短而显得更快，但复杂重构、多文件修改、长上下文里的约束遵循，体感上掉了一截。

这种体感很难单独成立。模型本身有采样随机性，官方线上快照也会波动，中转在高峰期也可能调整路由。只截一两轮「今天答得很差」的对话，既分不清偶然失误和系统性退化，也没法回答：到底是官方模型自己变了，还是这条中转线路的交付变了。

我后来不太信两类常见自测。

一类是直接问模型「你是谁」。语言模型并不能感知外层网关怎么路由。只要网关在系统提示词里写了指定型号，或者被替换的轻量模型会复述常见话术，它仍然会报出你所购买的名字。自我陈述当不了身份证明。

另一类是反复丢网上那些经典考题。题太出名，早就进了各类模型的训练数据，轻量模型也可以靠记忆过关。更麻烦的是，如果监测脚本长期打同一批固定题，对面可以返回静态缓存，甚至只给检测流量放行高质量上游，日常业务请求该怎么切还怎么切。

所以，一套更站得住的检测方法，至少要同时做到两点：题目不能被提前背题或静态缓存；判定也不能只看最终答案对不对。

一种具体做法是把两种探针放在同一时间窗口里跑。

一种是时事探针：把近期公开事件的时间线、新近条件和动态事实关联写进题目，并随现实时间更新。题目语境一直在变，服务端就更难靠预存答案或历史缓存应付；被切到旧快照或过度压缩的替代模型时，也更容易在时间线和多条件推理上露出破绽。

另一种是模型指纹探针，用来补另一种漏判：替换模型「能力尚可但并非原型」，或者型号没改、却在后台削减思考预算。这时最终答案看起来可能仍然礼貌、连贯。指纹探针会额外看探针一致率、输入 Token、思考 Token（Reasoning Tokens），以及接口返回的模型指纹和可用的缓存检测信息。推理强度被调低时，文字也许还通顺，思考 Token 和一致率却可能一起回落；切到另一个模型系列时，精细约束遵循习惯和指纹分布上的偏差，通常会比单道客观题的对错更早出现。

然后一定要有同一时间窗口的官方直连对照。中转分数自己跌了，既可能是这条线路换线或砍预算，也可能是官方模型微调，或者这批新题在官方接口上的固有通过率本来就在相应区间。没有同时段参照，绝对分数解释不了「到底是谁变了」。对照请求应直连官方、不经过第三方中转，并且和目标「模型 × 服务分组」跑同一组题。

还有两个边界想先写清楚。

第一，结果最好按「模型 × 具体服务分组」看。同一中转站里，特惠分组、动态倍率分组和更高成本的稳定分组，背后号池和路由策略可以完全不同。不要把一条优质线路的成绩当成全站承诺，更不要在充值前把高价分组的测试表现套到即将使用的低价分组上。

第二，单次回答，或者某一个孤立的百分比，不能单独当成「模型已经被替换」的证明。需要结合样本量、连续几个时间窗口，以及 Token 结构是否一起变化。这是可复核的早期信号，不是一条定罪式结论。

Folkbench 把这套方法写成了公开说明，并在降智监控里按模型 × 分组展示（校准那张图是机制示意，不是某家站点的实测曲线）。如果已经决定切换本地工具的 Base URL / API Key，开源桌面客户端 Folkbench Switch 可以在写入 Claude Code、Codex、Gemini CLI 等配置前预览差异，切到第三方服务时也会暂存 Codex 官方凭据。降智监控本身是网站端能力，并不等于客户端已经内置了同样的检测。

你们如果有更硬的信号，或者觉得哪一步仍然会被针对性绕过，想听听。

方法说明：
https://folkbench.com/blog/how-folkbench-detects-model-degradation?utm_source=1point3acres