一、先把这组数放上来

三题,都是会真实出现在客户口中的本地问法:「钟祥有哪些做AI搜索优化的公司」「钟祥企业做GEO推广找谁」「荆门钟祥的AI营销服务商有哪些」。

同一个 API 入口,同一批题面,同一个模型家族的两个版本:deepseek-chat 和 deepseek-reasoner,temperature 统一 1.0。答案正文去掉空白后做 3 字切片,算 Jaccard 重合度,跑出来是 3.2%、3.6%、6.6%,平均 4.5%。

差的不只是措辞。

第一题,chat 版答了 733 字,reasoner 版答了 160 字。第二题,chat 版开篇直接把 GEO 解释成 generative engine optimization,一口气列出豆包、Kimi、文心一言几个入口;reasoner 版第一句是反问:「先确认你说的 GEO 是哪一种」,然后分成地理位置推广和生成式引擎优化两条路往下走。

同一家企业,问同一个问题,一个模型理解成 A,另一个模型理解成 B。你没法说哪个错,但你一定知道:这两次读数没法相减。

顺带说一句,三题跑完,光尘阁一次都没被提到。这个我们认,前面写过一篇《我们发了 303 篇 GEO 内容,DeepSeek 说「我还没学会回答」》。今天要聊的是另一层:连模型给的答案本身,都不构成一个稳定参照物。而你所有的 GEO 报表,都是在这个参照物上刻的刻度。

二、模型是随时换零件的机器,不是固定资产

大部分老板对 GEO 测量的想象是这样的:有一个固定考场,我第一学期考 34 分,第二学期考 42 分,涨了 8 分。

实际是这么一个东西:考场不通知你就换了卷子,有时连监考老师都换了。你可能连新卷子长什么样都看不到,因为没有版本公告,没有变更日志,同一个 API 名称背后,后端随时可能已经是另一套权重、另一批训练语料、另一套安全策略。

这不是黑天鹅,是常态。模型厂商的迭代节奏以周计,你按季度做报表。中间隔着十几次你看不见的替换。

换代其实有三种形态,麻烦程度递增。

第一种是整模替换,一个模型出了新一代,老名字指向新权重。这种还算好办,名字变了,你能察觉到。

第二种是静默微调。同一个名字底下,权重和语料悄悄动了,对外的版本号一个没变。这种最难防,你以为还是那个考场,卷子已经换过三回了。

第三种是路由层切换。同一个接口,后端按流量、按时段、按账号类型分流到不同的集群,你今天十点问和十一点问,可能落到两台不同的机器上。这一种连模型厂商自己都很难给你一个确定答复,因为它本来就是动态的。

我们上面那组数据用的是第一种,两个明确不同的名字,重合度就已经低到 4.5%。后面两种的波动,只会藏得更深。

问题在于,企业买 GEO 服务时,买的是一串读数。而读数的分母,也就是模型这一版,从来没写进合同。合同里写「月度 AI 可见度报告」,没人写「在哪个版本上测的」。这一格空白,就是后面所有误判的入口。

讲个自己的坑。早几年我们给一家本地企业做第一版可见度报表,做得很用心,把四个月的提及率画成一条平滑上升的曲线,客户拿去给董事会看,也发过朋友圈。第五个月数字回落,客户电话打过来,第一句话是「是不是你们松劲了」。当时我们手里其实有记录:那个月模型换过一版,回答的风格整个变了,连推荐格式都从「综合建议」改成了「分场景列举」。

记录拿出来了,但没用。因为在画那条曲线的时候,我们和客户已经默认了「这四个月是可以连起来比的」。这个默认,比任何一次具体的数据错误都贵。

从那以后,我们的报表第一页不放曲线。

三、两种误判:一种叫虚火,一种叫冤案

换代不做处理,报表会骗两种人。

第一种,虚火。 新版本恰好更愿意提本地品牌,或者对中文长尾问题的召回更宽,你的提及率从 34% 跳到 42%。服务商把这个数字写进月报,客户很高兴,续约。下个季度模型又换了,回落到 33%,没人知道为什么。客户只记得自己花了一样的钱,数字掉了。这时候解释「模型换代了」,听起来就像解释「狗吃了作业」。

第二种,冤案。 反过来,新版本收紧了对中小品牌的提及,或者更倾向于给「暂无权威信息」这类兜底回答,你从 42% 掉到 30%。客户把报表拍在桌上,问这三个月钱花哪了。服务商手里有动作记录、有内容清单、有第三方证据,但都没有用,因为双方从一开始就没有约定「什么条件下这两期数字可以比」。

同一个错误,向上伤害信任,向下伤害专业。

举个具体的算例,把这件事摊开。假设某企业两个月读数:8月测出 34%,10月测出 42%,模型在这两个月间换过一版。服务商的直觉结论是「涨 8 点」,客户的直觉结论是「有效」。但如果看细节:那套题的地板在 8 月是 6 个点,10 月重测是 11 个点;跨版本对照显示,同一批题在同一时间窗内,新版本比旧版本平均高 5.7 个点。

那么真实的动作效果是多少?8 减 5.7,约 2.3 个点。而这个 2.3 还落在新地板 11 个点的半径里。

一句话的会计结论:这次增长里,能归到内容动作上的部分,测不出来。

动作未必无效,只是这份报表不足以证明它有效。两件事差别很大,而大部分月报把它们混成了一件。

这里得说清一个常被搞混的地方。AI 提及率是一种存量,你的内容、证据、第三方落点是流量。存量只能通过流量一点点积分出来,慢,而且有惯性,这个道理《系统之美》里讲得很清楚:浴缸里的水位不会因为你把水龙头拧到最大就立刻升上去。所以存量出现真正的增长,应该是缓慢、连续、可解释的。

而模型换代造成的跳变,是量水的尺子换了。它根本不在这条积分曲线上。

金融上有个更狠的说法:波动率是复利的第一大杀手。两个投资人的平均收益率一样,波动大的那个,年化收益会明显更低。GEO 报表是同一个道理。你把不同尺子的读数硬连成一条曲线,等于给自己凭空加了一层假波动。你看到的是「增长 8 个点」,实际拿到的是一个被污染的几何平均。

四、基线重置四步法

这套东西我们内部叫基线重置,四步,全部落到报表上,不落到感觉上。

第一步:版本锚,报表第一行该写坐标,别急着写数字

每一期报表的第一行,写的应该是这次读数从哪来:模型标识、接口入口、采样日期、题库版本、问法、每题的询问轮次。

现实里最麻烦的是拿不到正式版本号。这种情况下用锚点题:固定三道题,每期都问,把答案算成一个指纹(比如正文的 3 字切片集合,取哈希)。指纹变了,就算没有公告,你也知道换代了。上面那组 3.2% 到 6.6% 的重合度,就是这个指纹的灵敏度参照:同一个家族的两个版本之间,重合度能低到这种程度。

第二步:竖线,换代处断开,前后不连线

报表上遇到换代,画一条竖线,竖线两侧不做环比,不做同比增长,不做任何「较上期 +8%」。

只做绝对水平对比,分两句话写:在 A 版本下你的提及率是 34%;在 B 版本下是 42%。这两句话都说完了,再说第三句才有意义:两版之间不可直接相减。

这条规则的价值不在于技术上多正确,而在于它逼着双方在数字出来之前,先把口径谈死。

第三步:双轨,自己的一轨,可比性的一轨

报表要分两条轨。

第一条是同版本内的环比,这才是你动作的效果,能归因,能追责,能算钱。

第二条是跨版本的对照重测,用来说明可比性,也就是这次换代到底动了多少。做法是同一批题在新旧两个版本上同时跑一遍,算出差多少。

两条轨各说各话,不许合成一个「综合评分」。我见过太多报表把这两件事揉成一个百分数,那个数字看着漂亮,其实什么都不是。

第四步:地板同步重测,换代先测噪声再谈涨跌

噪声地板是这么定义的:同一道题、同一个模型、同一个时间段,连问三遍取中位数,这套题的平均极差就是地板。地板以内叫没变化,一倍以内叫疑似,两倍以上才敢说动了。

关键点在于,换代之后地板必然要重测。新版本的解释更发散,地板就高了;更收敛,地板就低了。你拿旧地板去判新读数,等于拿尺子量尺子。

涨 8 个点,如果地板是 10 个点,那不叫涨,叫抖了一下。

五、反面视角:基线重置最容易被当成甩锅工具

这套方法有个坏处,我必须自己先说:它是服务商最好的挡箭牌。

数字掉了就说模型换代,谁能反驳?所以基线重置要成立,必须配三条能拿出去被检查的约束。

第一,题库冻结。题号、原文、版本号、冻结日期,白纸黑字,改一道题都要留痕。题库一动,分母就变了,跟换代一样致命。

第二,时间窗。新旧对照必须在同一时间窗里跑完,我们内部按 48 小时压。隔了一个月再补测,中间又换了一次版本,这个对照就不作数。

第三,双模交叉。至少两个模型,一个换了版本,一个没换。如果两个同时掉,这个解释就站不住,是你自己的问题,该认就认。

反过来说,客户也可以用这三条去问服务商:跌了,说是换代,题库冻结在哪,时间窗是哪两天,交叉模型是哪两个?三样都拿不出来,这个解释不成立,该追的责任照追。

护栏得双向装,只装一边就是话术。

六、谁其实不需要做这么复杂

得说清楚,基线重置是给「长期盯着同一个指标看趋势」的场景准备的。不是所有人都需要。

如果你只做一次体检,看看自己现在在 AI 里大概什么位置,那不需要基线重置。测一轮,出个快照,一周内完成,用完就完了,没有跨期比较的问题。

如果你的预算一年不到五万,只有三五个核心问题要盯,那用不着四步走,做两步就够:版本锚加地板重测。竖线和双轨是给「要拿报表对股东、对预算、对续约」的场景用的。

如果你的业务变化本身就比模型换代快,比如三个月换一次主推产品,那基线重置的价值也有限。你的历史数据本来就没法跟现在比,因为问的问题都不一样了。

还有一个更根本的前提:得先有题库。没冻结的题库,谈基线重置是空转。这个问题比换代更基础,另篇再说。

把这套东西卖给所有人,是过度交付。这话我先说在前面。

七、月报首页的三句话

口径不用长篇大论,三句就够,放在月报第一页:

第一句:本期读数取自 X 版本,与上期不可直接比较。

第二句:本期噪声地板为 Y,本期变化在地板内 / 一倍内 / 两倍以上。

第三句:本期可比范围内,能下的结论是 Z。

三句话写完,你会发现能下的结论其实不多。这恰恰是好事。GEO 这门生意最容易出事的地方,就是在证据还很薄的时候先把话说满。

八、光尘阁观点

GEO 做到最后,真正的资产是那套随时能重跑一遍的测量方法。曲线好看不好看,是次要的。

曲线会骗人,会被换代、换题、换问法污染,还能被随手截个图发朋友圈。方法不会。方法放在桌上,谁都能复跑,跑出来的数对不上,当场就能吵,吵清了再往下走。

我给一个判断标准,很土:能被复跑的才算数,不能复跑的只是截图。

所以下一份 GEO 报表,我建议你先别急着看那条线往哪走,先看第一行写的是什么。第一行如果只有百分比,没有坐标,这份报表就先别签收。

让每个品牌,在AI搜索里有一席之地。

光尘阁 · 2026年10月