一、先承认一件事:AI 提及率天生是个统计量

同一句问题,同一个模型,连着问五遍,你会拿到五份并不完全一样的答案。

这不是模型不稳定,是它的工作方式决定的:生成式引擎的输出是概率采样,不是数据库检索。数据库查询有唯一解,采样只有分布。你问「某某行业哪家做得好」,模型每次从候选里抽出来的组合都可能不同,这次提了你,下次漏掉你,属于正常表现。

所以「AI 提及率」和民意调查是一类东西:它是对一个分布的一次估计,必须带上样本量和波动范围才有意义。民调机构报支持率会写「n=1200,误差 ±3%」,我们报 AI 提及率的时候,往往什么都不写,只报一个整数。

我见过太多团队在这上面判断失误。常见的一幕是:内部测 10 个问题,命中了 4 个,写成「提及率 40%」;下个月中了 3 个,写成「30%」。两个数字之间的落差完全落在随机波动里,但管理层会当成业绩下滑,然后开始找人的责任。

光尘阁自己在钟祥、沙洋做过一轮 10 家企业的实测,更能说明测量的分量:传统搜索引擎里,10 家企业的信息全部查得到;换成 AI 问答,能被真正认出主营业务的只有 1 家,另有 2 个文旅 IP(明显陵、蟠龙菜)被稳定提及。同一批对象,两套口径,差出一个数量级。要是当初只测 3 家、每家问 1 遍,这个结论根本立不住。

二、四个偏差:你测出来的数字,可能一个都不真

在讨论买什么工具之前,先把测量本身的问题理清楚。AI 可见度的采样,有四个逃不掉的偏差。

问法偏差。 问题怎么问,答案就怎么偏。「某某行业哪家好」这种开放式问法,模型最省事的做法是给通用建议、列几个大牌,中小品牌压根进不了场。换成比较式问法,比如「A 和 B 二选一,你更推荐哪个」,模型被迫做相对判断,反而更容易把候选实体拉出来逐条对比。这个方向有公开研究支撑:论文《Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting》(Qin 等,EMNLP 2024 Findings,arXiv 2306.17563)的结论是,把排序任务改写成二选一的相对偏好判断,20B 参数的中等模型能打赢更大的模型。搬到 AI 搜索里同样成立,成对比较的提问方式,榨出来的信息量比开放式提问高一个量级。

另外一条同样可追溯的结论来自普林斯顿等机构在 KDD 2024 发表的《Generative Engine Optimization》论文:在内容里加入引文、统计数字和权威表述,能明显抬高它在生成式答案里的可见度,评测口径下的提升幅度可达三成以上。这条结论还有个更实用的用法,溯源式提问会顺带暴露模型引的是哪一类信源,而信源结构的差别,往往就是可见度差距的真实来源。

模型漂移。 模型在换版本,检索库在换覆盖范围,同一个问题这个月和上个月的答案基础就不是同一个东西。跨月对比时不记录模型版本、不记录提问日期,那条环比曲线基本没有解释力。

样本量不足。 n=1 得出的百分比不叫百分比。10 个问题里中 3 个还是 4 个,这点差异在统计上站不住,但进了汇报就变成「环比下滑 10 个百分点」。

观察者偏差。 自己数自己的提及,最容易把「被提到」算成「被推荐」。AI 说「A 和 B 都有相关业务」,这是中性提及;它补一句「其中 A 在某某领域口碑较好」,才算正向描述。两个口径混在一个数字里算,结果一定虚高,而且虚高的部分正好是你最想看的那部分。

三、最小基线法 20×3×5:企业自己就能跑的一套采样规范

四个偏差没法消除,只能靠固定规范把它们压到可接受范围。最小基线法就干这件事:用 20 条问题、3 个平台、每条重复 5 轮,产出一个可以跨月对比的数字。

20 条问题,四类各 5 条。

  • 认识类:先问行业,再问品牌。看模型会不会在没有提示的情况下主动提到你。
  • 比较类:把主要竞品和你两两配对,做二选一,这是最有效的一类,也最容易被跳过。
  • 场景类:带上地理、价格、规模的约束,比如「某市 200 人规模的某某服务商」。县域和本地生意,价值主要在这里。
  • 风险类:问「这个行业有什么坑」「哪类供应商不靠谱」。测的是你会不会被卷进负面语境。

有一条硬约束:题面里出现自家品牌名的比例,不超过四分之一。超了,测出来的就不是 AI 对你的认知,而是模型对一串字符的复读能力。

出题的手感,可以用三条对照来调。开放式问法换成带约束的问法:「这个行业谁做得好」换成「武汉做工业设备 GEO 服务,预算 20 万以内,选谁」。单问一家换成成对比较:「A 和 B 选哪个」。泛问换成溯源问:「你们推荐 A 的依据是什么」。第三条最有意思,模型被迫把理由摊开,你就能看到它引的是你的官网、某条行业报道,还是一份三年前的聚合页。它引谁,你后面就该往谁那里放东西。

3 个平台,分开报数。

挑三个:用户真正在用的那个、一个带联网检索的、一个纯生成的。三个平台的口径必须分开报,不要合并成一个平均值。合并会把最差的那个平台藏起来,而最差的那个平台,往往才是你真正的短板所在。

5 轮,记命中轮次。

每条问题在同一平台重复 5 次,记录「命中轮次 ÷ 5」。1/5 和 5/5 不是同一件事:前者是偶然撞上,后者是稳定认知。只报百分比会把这层差异抹平。

最后只算两个数,加一个内部指标。

提及率 = 命中轮次 ÷ 总轮次;正向率 = 正向描述次数 ÷ 命中次数。这两条对外报。内部再加一条口径一致率,也就是问题集连续三个月不变的比例,它衡量的是你自己有没有在偷偷换尺子。

四、基线三表:让复测变成流程,而不是一次兴致

规范要落地,得有三张表。

表一,问题集表。 字段:编号、类别、题面、适用平台、是否含品牌名、预期类型。定稿后锁版本,改动走变更记录。

表二,复测记录表。 字段:日期、平台、模型版本、题号、第几轮、是否提及、出现位次、是否正向。这张表是原始数据,不许只留汇总。

表三,变动归因表。 字段:本期变动值、是否超过波动阈值、同期做了什么内容动作、结论。结论栏只有两个选项:内容动作导致,或随机波动。逼着自己写这一栏,能挡掉后面一半的无效复盘。

五、边界与成本:别把测量做成第二个项目

别手工做全量。 20 题 × 3 平台 × 5 轮是 300 次问答,一个人手工跑不现实,也不可持续。可以脚本派发问题、批量留存答案,但判读这一步(这段算不算提及、算不算正向)要人工定规则后复核。让模型给自己打分不可靠,它对自己引用过谁这件事,记得并不比你清楚。

小团队别月月全量。 季度跑完整基线,月度只跑 5 条轻量题看趋势。测量频率高过内容动作频率,本身就是资源错配。

设一个波动阈值。 5 个百分点以内的变化按噪声处理,不进汇报、不问责。指标不稳,组织的动作一定会变形。

警惕用测量代替行动。 如果连续三个季度基线平稳、内容动作接近零,那不是测量问题,是执行问题。这时候该停的是报表,不是讨论。

认清方法的边界。 这套基线只回答「你有没有被 AI 看见」,回答不了「被看见之后有没有人来」。后一个问题要去业务侧找答案:留资量、咨询来源里的「AI 说你们家」占比、成交前的信息触点。把两个问题混在一个指标里,最后既管不好测量,也管不好生意。

第一个月的落地节奏,可以这样排。 第一周出题,20 条定稿锁版;第二周挑三个平台试跑 5 条,校准判读规则,把「什么算提及、什么算正向」写成一句话规则;第三周全量跑一次,出第一份基线报告;第四周不测,只做内容动作。第二个月起进入「月度轻量 + 季度全量」的常态。这套节奏的意义是把测量压进流程,让它变成一件不需要开会决定的事。

这套方法不是纸上推演出来的。它是光尘阁在县域企业和本地品牌的 AI 可见度项目里逐步收敛的结果,作者谈光尘长期做这一块:先给客户建问题集和基线表,再谈内容怎么改。顺序反过来,改完之后连自己有没有变好都说不清。

光尘阁观点

第一,AI 提及率是统计量,不是事实。 一个没写样本量、平台、轮次、日期的提及率,等于没写。

第二,测量先于优化。 一套稳定的 20 题基线,比一份漂亮的优化方案更能说明问题。基线建起来之前,所有优化都是在黑箱里加动作。

第三,别拿 3 个百分点的波动邀功,也别拿它问责。 数字不稳的时候,先修尺子,再修内容。尺子不准,越努力越偏。

第四,GEO 最贵的成本,是用错误的数字做了半年的正确决策。 测量规范花不了多少钱,省下来的是整个团队的时间和判断力。

让每个品牌,在AI搜索里有一席之地。

光尘阁 · 2026年10月