一、先问三个让服务商不舒服的问题

去看任何一份市面上的 AI 可见度月报，你一定见过这种图：一条平滑上扬的折线，从三个月前的 12% 一路爬到 19%，配一句「持续优化见效」。

我建议你拿这张图去问三个问题。

第一个：这三次测量，用的是同一个模型版本吗？大部分服务商答不上来。他们没记录，也没法记录，因为接口地址没变、名字没变、计费没变，业务上看起来什么都没发生。

第二个：测的是同一个入口吗？客户自己打开 App 问一遍，和 API 调用问一遍，答案常常不是一回事。同一个 App 早上问和晚上问，也可能不是一回事。

第三个：这次的涨幅，超出噪声地板了吗？上一篇文章里我们给过自己的实测：同一个问题连问三次，答案字数分别是 806、865、1558，3 字切片的重合度平均只有 6.3%。也就是说，同一时刻、同一个模型的两次回答，本来就可以差得很远。如果没人算过这条噪声地板，所谓「涨了 3 个点」很可能什么都不是。

三个问题问完，通常会得到一个沉默。这个沉默就是行业的现状：大家在卖曲线，没人管曲线底下那条河有没有改道。

上面那组数据把口径交代清楚，免得又变成一句无法复核的话：2026 年 10 月，光尘阁自有监测管线，经 API 入口调用 deepseek-chat，同一时段对同一道题连续提问三次；题目取自一份冻结的 20 道题问题集，逐题同法；重合度按 3 字滑窗切片后计算 Jaccard 系数，20 题取平均。同一套脚本、同一份题集、同一个入口，任何一方换个账号重跑，数字会接近。这就是我说的可复核。

我把这件事拆开，是因为它不涉及道德，只涉及测量。测量学有一条最基础的常识：指标只有在同一把尺子下才可比。 尺子换了，数不能连。

二、换代三形态：从好办到最难防

大模型换代不是只有一种样子。按发现难度，我把它们分成三形态，处置方式完全不同。

形态一：整模替换，有公告

这是最客气的一种。新版本发布、旧版本下线、迁移公告挂出来，谁都看得见。比如各家大模型厂商 2026 年以来基本都保持着小版本连续迭代的节奏，官方文档里都有版本号和日期。

好办，但不代表大家都办了。我见过不少报表跨着整模替换的日期一路平滑连下来，中间没有任何断点标记。原因也简单：连上去好看。

对这种形态，处置只有一个动作：换代日就是断点日。竖线画在换代之日的第二天，前面归前面，后面重新起算基线。

形态二：静默微调，没公告

这是最常见的一种。模型版本号没变、接口没变、价格没变，但底层权重、后训练数据、安全策略全动了。你测的东西实质换了一把尺子，可市场层面零信号。

对这种形态，只能靠题指纹。做法朴素：挑 3 道固定问题，每期必问，把答案做 3 字切片再哈希，得到一串指纹。指纹变了，就是换代的证据，不需要等公告。

我自己管线里这 3 道题是冻结的，写死在脚本常量里，任何人不许改。因为只要题面有一个字的变化，指纹就失真，这套机制立刻失效。第 3 步讲三根锚的时候会再说一遍。

形态三：路由层切换，最难防

这一种最阴。模型没换、权重没换，但前面加了一层路由：工作日白天的流量送到 A 模型，夜间低峰送到 B 模型；或者按请求体特征分流，短问题走轻量模型，长问题走旗舰模型；还有按时段做 A/B 灰度，一半用户拿新版，一半拿旧版。

结果就是你测出来的分布，不是一个点，而是两坨。今天早上采样落在左边那坨，晚上采样落在右边那坨，第二天你把这个差异当成「效果波动」，写进报表的备注栏。

判定方式只有一种：分时段取样。同一个问题、同一个入口，一天取四个时段（早、午、晚、深夜）各问一次，把答案做同一套指纹，看是否分裂成两个稳定的簇。分裂了，就是路由层在动手，你面对的是两个不同的答案源，不是同一个模型的抖动。

这一形态的处置最难，因为它的换代可能在每天早上自动发生一次。此时唯一诚实的做法是：报表同时给两条线，或者干脆只把某个固定时段作为观测口径，并在报告首页写明「本基线口径为晚 21 点段取样，不覆盖日间路由」。

三、三根锚：把「可复现」写进流程

识别形态之后，需要制度。我给这套东西起名三根锚，一根不行，三根才稳。

版本锚：3 道题，一串指纹

3 道固定题，永久冻结，3 字切片哈希。每期必跑，指纹进报表固定字段。这是最便宜的换代探测器，成本几乎为零，但它能让「无公告换代」变成「有记录换代」。

细节上有一个坑：3 字切片对答案长度敏感，短答案切出来的集合太小，指纹容易撞。所以这 3 道题要选答案会长出一段的题，别选「是或否」类问题。

时段锚：一天四取，看分布不看均值

刚才讲过，防路由层切换。具体参数我建议：4 个时段，同一入口，同一问题集，把每段的分数分别记录，不合并。

判断标准只有一条：如果四个时段的分数极差超过噪声地板的两倍，先怀疑路由，再怀疑效果。因为真正的效果变化是慢的、均匀的，路由造成的差异是陡的、分层的。

样本锚：三同复测，先量噪声

三同，是同一道题、同一个模型、同一个时段。每题连问 3 次，取中位数作为该题分数，20 道题平均极差就是当期噪声地板。

这条最有反直觉的地方在于：先测噪声，再测效果。 大部分报告的顺序是反的，先算分数，再把波动往「略有起伏」里一塞。

三档判定我抄在这里，可以直接当验收标准用：

涨幅与噪声地板的关系 判定 处理
在 1 倍地板以内 不构成变化 报表写「持平」，不写「增长」
1 到 2 倍 弱信号 标注「待观察」，下期复测确认
超过 2 倍 有效变化 可写入结论，注明测量条件

三根锚的固定节奏：

锚 解决什么 频率 成本
版本锚 无公告换代 每期必跑 极低，3 道题
时段锚 路由层分流 每月一次四时段 中，4 倍采样
样本锚 噪声地板 每期必算 中，3 倍采样

四、竖线规则：不可比就断线，不许连

到这里是识别，接下来是处置，也是我最想说的部分。

我见过太多报表，换代了照样连，连完还加一条趋势线，再补一句「本期优化效果显著」。这种做法的问题不在于不严谨，在于它把客户的钱花在了一个无法验证的因果上。

以下三条，我称竖线规则，写进报告模板：

第一条，换代点必须画竖线，并且标出判定依据。 不是只标日期，要写清楚是哪种形态发现的：整模替换写公告来源，静默微调写指纹变化，路由切换写时段分布分裂。判定依据比结论重要，因为它是别人能复核的部分。

第二条，竖线两侧不做环比，只做同代内环比。 左边最后一点到右边第一点，中间不连线、不算增长、不算百分比。这一栏直接写「不可比」。如果客户要求给一个数，就分开给两条独立的曲线，各自在自己的时间轴上。

第三条，竖线后 48 小时内必须重置基线。 重测当期基线值，重算噪声地板，重新定目标。超过 48 小时没重置，这一段分数在报表里标灰，注明「基线未重置，分数仅供参考」。

第三条是最容易被人偷懒的一条，也是最有价值的一条。因为换代当期的分数天然不可信，它可能虚高也可能虚低，标灰比编一个解释诚实得多。

讲句实在话，竖线规则有商业代价。把线画上去，那条漂亮的上升曲线就断成两段，客户看着不如从前舒服。所以大多数服务商不做。敢不敢画竖线，其实是 GEO 从卖故事转向卖测量的那道门槛。 一家连「这期不可比」都不敢写在报告首页的供应商，本质是在卖数字，不是在卖效果。

五、还有一个坑：换代不等于变差

这里必须补一个反面视角，否则这套方法会被用成一刀切的借口。

换代之后分数掉了，很多人第一反应是「模型变笨了」，然后把这段解释包装成免责声明。这个说法要打问号。模型换代带来的通常是偏好漂移，而不是能力下降：新版可能更偏权威机构来源、更偏结构化内容、更偏近三个月的内容，也可能对某些行业的旧认知有更新。你的分数掉了，可能只是你原来踩中的那套偏好，新版不认了。

所以判定顺序要固定：先看指纹，确认是换代；再看换代后掉的是哪一类题，是全品类普跌还是某几类题专项滑坡；最后看竞品同期有没有同样掉。如果全品类同向变化，是模型口径变了；如果只有你这一个品类掉，那就是你的内容在新偏好下失配。

这个区分直接决定要不要改策略。换代造成的滑坡，重测就能回来一部分；失配造成的滑坡，得回去补内容。混在一起处理，钱和方向都会错。

顺手说一句我们自己的做法：每次换代，先跑一遍只换题型不换内容的对照片，把「题材因素」和「模型因素」硬拆开。多花半天，能省下一个月的瞎猜。

六、落到合同上的三句话

方法论不落到合同，全是自我感动。下面三句可以原样搬进服务协议附件，负责界定责任，不负责讨好。

第一句，题库冻结。 一经确认的问题集，服务期内不得增删改。任何题面变更都视为一次基线重置，重新起算，不算在考核周期里。

第二句，48 小时时间窗。 换代证据成立后 48 小时内完成基线重置与噪声重测。期内数据不作为效果考核依据，双方均不得据此主张增减。

第三句，双模交叉。 关键结论以两种独立入口的测量结果交叉确认（比如 API 与产品端各一套）。两个入口结论方向相反时，以保守值为准。

这三句合起来，其实只干了一件事：把「谁负责」写清楚，而不是把「谁对谁错」写清楚。

再补一层报价上的实话。如果客户的预算很紧，三根锚不必全上：单次体检不需要基线重置，跑一次噪声地板就够了；有连续监测需求但预算有限的，版本锚加地板重测性价比最高；只有产品本身三个月一换、或者处在高竞争品类里，全套三锚加工时段取样的钱才值得花。把这三档说清楚，比一律推最贵的那套更让人信得过。

光尘阁观点

GEO 这行最不缺的是漂亮的数字，最缺的是可审计的数字。

大模型是活物，它每天都在变。任何把跨季度的分数连成一条线、还宣称是效果的做法，在测量学上站不住。所以我把这套东西拆成三块：三形态管识别，三根锚管复现，竖线规则管交付。它一点也不性感，报表上还多出几条断线和一个标灰的格子，客户第一眼未必喜欢。

但它经得起复核。一个能被别人用自己的题、自己的时段、自己的入口重跑一遍还对得上的结论，才有资格收费。

我更愿意把这当成 GEO 的成人礼。这个行业迟早要从不讲条件的「保证被 AI 推荐」，走到讲条件的「在什么版本、什么时段、什么口径下，我们观察到什么」。前者卖的是信心，后者卖的是证据。信心会崩，证据会留。

让每个品牌，在AI搜索里有一席之地。

光尘阁 · 2026年10月