一、先交代实验:同一句话,连问三次
找我咨询的人里,问得最多的一类问题长这样:服务商月报显示三个月提及率涨了 8 个点,要不要加预算。我通常反问一句:这 8 个点,是同一个问题、同一个平台、同一时段测出来的吗?多数人答不上来。答不上来就别急着加钱,先看数是怎么来的。
2026 年 10 月 28 日晚上 21 点 50 分,我在 deepseek-chat(默认 temperature 1.0,不开联网)里,把同一句话连问了三次,每次间隔两秒:
「我们是湖北一家做工业配件的制造企业,想做AI搜索优化(GEO),第一步应该先做什么?」
三次返回:806 字、865 字、1558 字。最长的那次比最短的多 93%。
光比字数不够,我又算了一次文本重合度。方法是 3 字切片做 Jaccard,纯字面,不看意思。三份答案两两重合 9.2%、4.8%、5.0%,平均 6.3%。
然后我换了个问法再问一次:「工厂老板想做GEO,让AI在回答里提到我们,从哪儿下手最划算?」这次跟前三份的重合度是 5.2%、4.4%、3.3%,平均 4.3%。
只看数字,会得出一个很唬人的结论:AI 每次说的都不一样,压根没法测。
可我把四份答案逐条对着看完,看到的是反过来的东西。
二、判断没错,表达全乱
四次回答,第一条建议全是同一件事:先做一轮 AI 可见性盘点。列客户常问的问题,去主流平台逐个问,记录 AI 有没有提到你、提得对不对。第二条建议也高度一致:把官网的产品参数、资质、案例做成结构化页面。
真正在飘的是另外几样:
- 推荐你去哪些平台:第一次是「DeepSeek、豆包、Kimi、通义、文心,加阿里巴巴、慧聪」,第二次变成「DeepSeek、豆包、Kimi、文心,加百度、百科」,第三次是「豆包、Kimi、通义、千问、文心」。换问法那次,多出了 ChatGPT、知乎、1688。
- 篇幅:从 806 字到 1558 字。
- 步骤怎么拆:三步、四步、分模块,每次不一样。
一句话:结论层稳,表达层乱。
我把这件事定性成一个模型,叫 AI 答案的两层结构。
| 层 | 里面装什么 | 漂不漂 | 该多久看一次 |
|---|---|---|---|
| 判断层 | 你是谁、算不算候选、被描述成什么角色(厂家、供应商、替代品) | 慢,几个月才动一次 | 季度 |
| 表达层 | 字数、平台清单、案例、比喻、信源推荐、措辞 | 同一小时内就能变 | 只看描述,不做考核 |
多数企业的 GEO 月报,卡在下面那层。
你去翻自己的报表,如果有这么一栏「本月 AI 回答中提及我方的次数」,它测的是表达层的密度。这个数字本月涨了、下月跌了,大概率跟团队干了什么没关系。它跟模型的采样温度有关,跟平台当天抓了哪几个网页有关,跟用户那句话怎么问有关。
举个具体的:同一道题,八月的答案能读 806 字,十月能读 1558 字。如果你的月报统计口径是「提及次数」或「提及字数」,这个变化会被读成一条漂亮的上行曲线,而实际上模型只是那天话多。
三、它为什么会漂:四个来源
搞清楚机制,才知道哪些漂是必然的,哪些是能修的。
一是采样随机。 大模型每次输出都是从概率分布里抽一次。同一个问题,抽样点不一样,措辞和篇幅就不一样。我这次把 temperature 留在默认的 1.0,属于正常用户的真实条件;调到 0 会更稳,但那就不是你客户实际看到的 AI 了。测客户看到的东西,别去测一条被调过参数的理想曲线。
二是检索内容在变。 现在主流 AI 回答里大量带检索环节,它每次抓到的网页可能不同。昨天抓到你官网的旧版产品页,今天抓到一条三年前的论坛帖,答案的走向就会变。这跟你的内容有没有更新是两件事。
三是模型在静默迭代。 平台升级不会提前通知你。同一个问题去年问和今年问,语气、结构、推荐偏好都可能换了。这是为什么报表上必须记模型版本和日期,也是为什么拿跨季度的截图对比,本身就不成立。
四是问法在变。 我换一句问法(从「第一步应该先做什么」换成「从哪儿下手最划算」),答案的篇幅和推荐清单就明显不同。客户每天的真实问法千差万别,你固定一套问法去测,测的是你选的切口,不是市场全貌。这不是缺陷,是测量的前提条件:你要承认自己只测了一个切口,别把切口当全景。
四条里,第一条和第三条你改不了,只能承认;第二条和第四条你能控制,靠固定题集和固定问法。测量这件事的本质,就是把不能控的部分圈起来,叫噪声,然后只对能控的部分负责。
四、噪声地板:为什么 5 个点以内不算涨
做测量的都懂一条底线:任何测量都有噪声,噪声带里的变化不叫变化。温度计本身有一度误差,你拿它报出 0.5 度的升温,那是自欺。
AI 可见度更难,因为测量仪器本身是概率机器。同一句话问三次,字数差 93%,你告诉我要信哪一次?
所以我给这件事配了个操作定义,叫噪声地板。
怎么定:三同复测法。
同题、同模型、同时段,三道锁缺一不可。同一套 20 道题,记录你用的平台和模型版本,在同一天里(最好同一小时)每道题连问 3 次,取中位数,记下极差。20 道题的平均极差,就是你的噪声地板。
怎么判:三档。
| 本月与基线的差 | 判定 | 动作 |
|---|---|---|
| 在噪声地板以内 | 噪声 | 不动,不解释,不写进月报结论 |
| 出一倍地板以内 | 存疑 | 标记观察,下月复测同题 |
| 超过两倍地板 | 位移 | 才允许做归因,才允许报功 |
假设你测出来地板是 8 个点(这只是举例,你得自己测)。那么客户跟我说的「涨了 8 个点」,正好落在噪声带上沿,等于没涨。而服务商很可能是真心觉得涨了,他测了两次,第二次是高值。
这件事的后果不只是数字难看。你把噪声当业绩,就会继续为产生噪声的动作付费;等你哪天换一家重新测,基线对不上,前面三个月的投入全部化成扯皮。
跑一次基线要多久。 20 道题、2 个平台、每题 3 问,一共 120 次提问,一个人一个下午能跑完。别一上来铺五个平台,先做你客户最常用的那两个。表格列这几项就够:题号、平台、模型版本、提问时间、提问原文、有没有提到你、排在第几位、AI 给你的角色描述、它引用了哪个链接、三问之间的极差。跑完这一遍,你手里第一次有了一个可复现的数,后面所有讨论才有共同的起点。
五、把月报改成能信的,三个动作
动作一:题集冻结,模型打标。
题集定下来就冻住,一年不动,中间要改就另起一版。每次测量记下平台、模型名、日期。模型换代那天,在报表上画一条竖线,线前的数据与线后不可比。
现实里最常见的翻车就是拿三月的截图和八月的截图比,中间模型换了两代,题集也换了,还硬要得出一个「涨了」的结论。这在逻辑上叫不可比。
动作二:三问取中位,报区间不报单点。
「提及率 62%,区间 55 到 68」比「提及率 62%」诚实得多。谁主动给你区间,谁大概真在做测量。谁只给你一个孤零零的点位,还配一条平滑上升的折线,你要多问一句:这条折线每根柱子是怎么测的。
动作三:分两本账。
判断账按季度看,只记三件事:AI 认不认你是谁、你在候选集里排第几、它给你的角色描述对不对。这层变化极慢,但一旦变化,就是结构性变化,比十个点的噪声值钱得多。
表达账按月记录,只做描述不做考核。它的正当用途只有一个:发现明显错误(型号写错、地址写错、把你说成另一家)并立即修。发现错误跟考核团队,是两回事。
再加一条方向性的提醒:别拿 AI 自己的解释当证据。你问它「刚才为什么推荐我」,它会给你一套听起来特别合理的理由。那套理由是现场编的,不是它的检索路径。要验证,去看它回答里引了哪个链接、哪篇文章、哪条工商信息。信源是硬的,解释是软的。
六、为什么非得较这个真
第一,你拿什么当尺子,团队就往哪儿发力。
如果 KPI 是每周的提及率涨跌,团队的动作必然指向短期能动数字的事:批量铺稿、堆关键词、找人换头像冒充专家、把同一篇文发满二十个平台。这些动作在噪声带里看着很有效,三个月后留下一地被 AI 判定为复制件的内容。反过来,只认季度判断层的位移,团队只能往长周期使劲:改官网结构、补真实资质、拿第三方报道。白 GEO 和黑 GEO 的分岔口不在手段上,在你拿什么当尺子。
第二,这是行业能不能被信任的问题。
GEO 现在最大的麻烦不是做不好,是没法证明做了。服务商递一张截图,客户不信;客户自己测一次,数字对不上,更不信。僵局只有一个解法:把测量方法摊开,把噪声地板写进合同。
我见过最实在的一条合同条款长这样:每季度 20 道固定题、3 个平台、每题 3 问取中位,季度对比只认超出噪声地板的部分。这话没法吹牛,但它可复现。敢签的人,基本不会跑。
光尘阁观点
一,AI 可见度能测,但单次测量不算测量。 一小时的漂移比三个月的战略变化还大,任何单点数据都不配当结论,包括那份让你很开心的数据。
二,判断层和表达层必须分账。 分不开这两层,你的月报永远在测一件事:模型今天心情好不好。分开了,你才看得见真正的战场——AI 把你放进候选集了吗,给你的是什么角色。
三,噪声地板本身就是筛子。 愿意跟你坐下来把地板定清楚的服务商,通常不会骗你;不敢定的,多半靠截图吃饭。选服务商这件事,问一句「你的噪声地板是多少、怎么测的」,比看十页案例有用。
让每个品牌,在AI搜索里有一席之地。
光尘阁 · 2026年10月