抓取、索引、排名是三个先后不同、判定方式也不同的环节。抓取是Googlebot发现并下载页面;索引是Google把页面内容分析、存储进候选库;排名是用户搜索某个词时,Google从索引中挑出结果并决定顺序。一个页面没排名,可能卡在抓取,也可能卡在索引,还可能已经索引但竞争不过别人。区分的方法是:分别找“有没有被抓取”“有没有被索引”“有没有为某个词出现”这三类证据,而不是只看搜索结果的最终位置。
三个环节存在依赖关系,但不是严格的一票通过。页面被抓取,不等于一定被索引;被索引,也不等于一定获得排名。反过来,一个页面没有排名,并不能直接推断它没被抓取或没被索引。
适用前提是:你有一个明确的目标页面,并且能确认它当前可访问。如果页面本身打不开或返回错误状态,后面的索引与排名讨论没有意义。
实际操作时,把观察拆成三个问题,逐个回答。
可以在服务器日志中查找Googlebot的请求记录,看它是否请求过目标URL、请求时间、返回状态码。也可以检查页面是否被robots.txt规则阻止,是否设置了noindex,是否存在需要登录才能访问的情况。这些都会影响抓取或后续处理。
判断结果:如果日志里没有Googlebot请求记录,优先排查抓取层面的阻碍;如果有请求且返回正常,抓取这一环基本通过。
在Google搜索中查询site:加目标URL,观察该URL是否作为结果出现。需要注意,这个查询只是辅助观察,不是官方收录状态的绝对证明。更稳妥的做法是结合页面是否能在针对其独有文字片段的搜索中出现来判断。
判断结果:如果页面长期无法通过独有内容片段被找到,说明索引环节可能未通过;如果已经能被找到,说明它至少进入了可展示范围。
排名必须绑定具体查询词才有意义。先确定一个与页面主题高度相关的查询词,再用无痕窗口或不同网络环境搜索该词,观察目标页面是否出现。不要用“我的页面有没有排名”这种没有查询词的问法。
判断结果:如果页面已索引,但目标查询词下始终不出现,问题在排名竞争,而不是抓取或索引;如果页面在多个相关查询下都不出现,需要检查内容与查询意图是否匹配。
假设你有一个介绍“手冲咖啡水温”的页面,最近没有流量。可以按下面顺序检查:
这个例子的适用条件是:页面内容可公开访问,且没有登录墙。如果页面需要登录,抓取和索引的判断方式要相应调整。
“已抓取未索引”和“已索引无排名”是两种不同状态。前者通常要检查内容质量、重复度、页面价值;后者通常要检查查询意图、标题与正文的相关性、竞争页面强度。不要把两者混为一谈,也不要用同一个动作去解决。
验收信号可以这样设定:抓取层面,日志中出现正常状态码的Googlebot请求;索引层面,页面独有片段能在搜索中找到;排名层面,目标查询词下页面出现在结果中。三个信号分别通过,才说明对应环节没有明显阻碍。
下一步,选一个你关心的页面,先确认它是否被抓取,再确认是否被索引,最后用一个具体查询词检查排名。按这个顺序走,能避免把排名问题误判成收录问题。