← 返回首页返回博客列表

我抓了40万个下拉词,发现用户的真实意图根本不在SERP里

📌 核心要点:

从一次负面下拉词危机出发,拆解了抓取40万条下拉词、清洗聚类到落地页面的完整实操,不聊概念。

去年Q3,我们站一个稳定跑了大半年的核心词,百度搜索框底下突然多了一条“xx 骗局”的下拉提示,点击率直接从12%掉到7%。流量倒没少太多,但转化崩了——进来的人带着质疑,跳出率从52%飙到68%。老板问我是不是被黑了,我开始顺着这个下拉词查,结果摸到竞争对手刷词的痕迹。

那件事之后,我花了两个月时间,把下拉词这件事从头到尾跑了一遍:自己写爬虫、建词库、跟项目落地。下面是我实际做过的步骤和结论,不聊概念,只聊怎么干。

下拉词不是提示,是实时意图快照

很多人觉得下拉词就是个UI组件,输入一半自动补全。但真正做过点击率对比的都知道,下拉词框里出现的词条,点击率可以占到总搜索行为的8%~15%(我们自己埋点统计的百度无线端数据)。而且它完全动态——一个词今天有,明天可能就消失,算法根据近期搜索频率、新闻事件、区域热度实时调整。

这意味着两点:第一,下拉词是用户真实提问的浓缩版,比任何关键词规划师都直接。第二,它能暴露你的品牌在用户心里最纠结的那个点。前面那个“骗局”后缀,就是因为竞品在知乎和小红书灌了一轮"xx骗局"的长尾帖,搜索量起来后,下拉词跟着就出来了。

怎么拿到干净的下拉词数据

一开始我用5118的下拉词接口,省事,但发现两个问题:更新有明显延迟,大概2~4天;而且词库不全,一些长尾组合拿不到。后来干脆自己写程序,直接调搜索引擎的suggestion接口。百度的接口是 `https://www.baidu.com/sugrec`,带上`wd`参数和`json=1`,谷歌也有对应的`/complete/search`,需要处理`client`参数和token。

我抓取的原则是:从核心种子词开始,拿回一组建议词,把每条建议词再作为种子往下挖,最多挖3层。总数据量40万条时停了,因为发现再挖下去超过60%都是低频垃圾词,投入产出打折扣。如果你们团队没有开发资源,或者想先快速验证,市面上有一些平替工具能做基础抓取,我之前对比过7款,整理在5118替代方案这篇里。

反爬是最大的坑。百度对sugrec接口有频率限制,单IP每秒超过10次就封几分钟。我后��用代理池轮换,成本一毛钱一个IP,并发控在8qps,稳定跑完全量。移动端接口更宽松,建议优先用。

从40万条词里淘出能用的金子

把原始下拉词倒进数据库后,第一步是去噪。你会发现大量重复、只差一个空格的词,还有纯口语的“那啥”“怎么弄”这种。我用Python做清洗:转小写、去标点、Unicode规范化,然后用编辑距离和Jaccard相似度去重,阈值设0.85,砍掉将近6万条。

第二步是意图聚类。不靠人工打标,太慢。我把词喂给一个大模型做zero-shot分类,让模型判断用户是想“比价”“找教程”“看评价”还是“投诉”。这里模型推理延迟一度拖慢全流程,后来优化了batch推理和token化方式,具体做法写在了大模型推理延迟优化这篇,方案直接复用就行。聚类结果很有意思:“比价/价格”类词占比27%,“靠谱吗/是否真的”类占19%,“怎么用/教程”类占23%。这三类加起来快七成,完全改变了我们对用户需求的判断。

把下拉词落进页面,而不是堆进关键词库

老路子是把下拉词当��尾词,塞进meta标签、塞进H2。没用。我们测过,单纯替换标签的页面,收录率还行,但点击率毫无变化。下拉词真正该去的地方,是解决用户“没说出口的那个问题”。

我的做法:针对聚类出来的三个大类,直接新建三个专题页,不叫文章,叫“答疑卡片矩阵”。比如“xx靠不靠谱”这个意图底下,我们整理了所有下拉词变体,用真实用户案例、第三方检测数据、退款政策解释。每张卡片对应一个下拉词问题,页面结构是问题-证据-结论。文案生成阶段用Claude辅助,但我们犯过让AI自由发挥的错,导致几篇页面被判定为低质内容,排名掉得很惨。后来总结了一套结构化提示词和人工过滤流程,确保每句话可验证。具体教训都记在Claude SEO优化实战里,不重述。

效果:这三个专题页上线第三周,来自下拉词搜索的点击量翻倍,那个“骗局”负面词的相关搜索占比从18%降到6%,因为我们的页面直接回答了质疑,用户不再需要去搜“xx是不是骗局”验证。

监控比优化更重要

下拉词变动没有通知,不靠人工盯词一定会漏。我最后搭了个简易监控:每天定时抓取品牌词+核心业务词的下拉推荐,跟前一天对比,有新增或消失就发钉钉提醒。这样我们能第一时间发现负面词冒头,赶在扩散前处理。

下拉词这套逻辑,本质上是用最小的成本,做最前置的用户调研。别把它当关键词的补充,它是搜索框里冒出来的、活生生的需求信号。

🤖 你的网站能被AI搜索到吗?

免费检测你的网站GEO健康分,看看ChatGPT、DeepSeek会不会推荐你

🔍 免费GEO检测 📊 注册解锁AI分析