看到这个标题会吓到你吗?

在标题所暗示的一切之后,我可以向您保证,您完全放心了。

如果你想和我一起重温我的噩梦(也许同时发泄和做搜索引擎优化研究),我们将按时间顺序进行。

你准备好了吗?

2019 年 8 月 4 日

那是星期天早上。我喝了咖啡,像往常一样使用我们的 SEO 工具,什么都没想。然后……砰!

什么。的。地狱?

作为SEO,我们都习惯于看到排名的自然波动。波动,而不是消失。

第一步:否认

我立刻想到一件事:这是一个错误。所以我跳进了其他工具,看看 Ahrefs 是否失去了理智。

Google Analytics 也显示了一个相应的流量下降,这是肯定的。所以,作为一名 SEO,我自然而然地认为最糟糕的事情是...

第 2 步:Algo Panic

算法更新。拜托,请不要让它成为算法更新。

我跳进了梭子鱼的 Panguin 工具,看看我们的问题是否发生在已确认的更新上。

暂无更新。 ew

第 3 步:诊断

没有人想清楚他们的爬行动物何时活跃。你恐慌,你不理智地思考,你做出错误的决定。零感冒。

终于集思广益想清楚是怎么回事了:关键字排名完全消失是很不寻常的事情。它必须是技术性的。

必须是索引。

通过 Google 快速搜索关键字排名下降的页面,结果发现这些页面实际上已经消失了。 Search Console 报告相同的内容:

< p>注意底部的警告:

No: 'noindex' detected in 'robots' meta tag

现在我们到了某个地方。接下来,是时候在源代码中确认这一发现了。

我们的页面被标记为去索引。但是到目前为止,实际上有多少页面被取消了索引?

第 4 步:调查损坏情况

它们都是。在向我们的开发人员发送了一些疯狂的注释后,他确认将近三天前的星期四晚上(2019 年 8 月 1 日)部署的冲刺不小心将代码推送到每个页面。

但是整个站点都被索引了吗?

这极不可能发生,因为要发生这种情况,Google 必须用三天时间抓取网站的每个页面才能找到“noindex”标签。 Search Console 在这方面不会帮助您,因为它的数据总是滞后的,并且在更改之前可能永远不会被修改。

即使现在回头看,我们也看到 Search Console 最多只提取了 249 个受影响的页面,并且有超过 8,000 个被编入索引。这不太可能,因为在事件解决后的整个星期内搜索量下降了三分之一。

注:我永远无法不确定谷歌中有多少页面被完全索引,但我知道每个页面都有一个“noindex”标签,我依稀记得谷歌搜索“site:brafton.com”并看到我们的第八个页面中有一个被索引了。真希望我有截图。感到抱歉。

第 1 步:解决问题

发现问题后,我们的开发人员回滚了更新,并按“noindex”标签之前的样子发布了网站。接下来是重新索引我们的内容的问题。

第 2 步:尽快刷新网站

我删除了旧站点地图,构建了一个新站点地图,然后将其重新上传到 Search Console。我还抓取了我们的大部分核心产品登录页面,并手动要求重新编制索引(自从最近的 SC 更新以来,我不完全相信这会做任何事情)。

第三步:等待

此时,我们别无选择,只能等待。有很多问题:

  • 页面排名会和以前一样吗?
  • 他们的排名会一样吗?
  • Google 是否以某种方式“惩罚”页面的短暂消失?

只有时间会证明一切。

2019年8月8日(周)-搜索量下降33%

在评估损失时,我会用error day)填上日期作为零的基础。因此,第一次测量将从8月2日至8月8日进行7天。

Search Console 可能最能说明我们在搜索中损失了多少。

我们损失了大约 33.2%的搜索流量。哎哟。

幸运的是,这将标志着我们在整个磨难过程中经历的最严重的伤害。

2019 年 8 月 15 日(两周)- 流量下降 23%

这段时间,我一直在关注两件事:搜索流量和索引页面。尽管重新提交了我的站点地图并在 Search Console 中手动获取页面,但许多页面仍未编入索引 - 甚至是核心着陆页。这将是整个日程的主题。

我们仍然在流失流量,因为我们仍有未编入索引的页面。

事发两周后,我们的流量仍然下降了 8%,尽管流量增加了,但我们的创收转化率随着流量的下降而下降。

2019年8月22日(三周)-流量13% drop

我们的页面索引仍然很慢。当我看到我的商业目标落空时,我感到非常痛苦。

至少是显而易见的我们的搜索正在恢复。但是如何恢复是我特别感兴趣的。

是否所有页面都重新编入索引,但搜索流量减少了?

是否只有部分页面重新索引并具有完全恢复的搜索状态?

为了回答这个问题,我查看了取消索引和重新索引的页面。这是其中一个页面的示例:

这是一个页面在短时间后被取消索引的示例:

在我能找到的每一个实例中,每一个页面都完全恢复到原来的搜索状态。所以这似乎不是页面是否恢复的问题,而是什么时候重新索引的问题。

说到这一点,Search Console 有一项新功能可以“验证”错误页面。我在 8 月 26 日开始了这个过程。在此之后,SC 慢慢地重新抓取(我认为)页面,每周大约 10 页。这比正常的预定爬网快吗? SC 中的这些工具还能做什么?

我可以确认的是,三周后仍然有很多页面索引不足,包括我依赖流量的页面。以后再说。

2019 年 8 月 29 日(四周)- 流量下降 9%

此时,我非常沮丧,因为只有大约 150 个页面需要重新索引,而且没有无论我在什么位置,无论 Search Console 检查多少次并请求重新编制索引,它都不起作用。

这些页面完全可以被编入索引(如 SC URL Check 所报告),但不会被抓取。结果,将近一个月后,我们仍然比基线低 9%。

具体页面就是拒绝重建索引。这是我要转换的高商业价值产品页面。

为了强制重新-索引,我试过:

  • URL 检查和请求索引(每月 15 次)。
  • 更新出版日期,然后请求索引。
  • 更新内容和出版日期,然后请求索引。
  • 将站点地图重新提交给 SC。

没事。此页面不会重新编制索引。其他一百多个商业影响较小的 URL 也是如此。

注意:此页面要到 10 月 1 日才会重新编入索引,即取消索引后的两个月。

顺便说一句,这是我们四个星期后的整体恢复进度:

2019 年 9 月 5 日(五周)- 流量下降 10.4%

Great Plateau。在这一点上,我们已经重新索引了所有页面,除了大约 150 个据称是“已验证”的页面。

他们不是。而且它们也没有被重新攀登。

看来我们可能完全恢复,但时间掌握在谷歌手中,我无能为力。

2019 年 9 月 12 日(六周)- 流量增长 5.3%

我们花了大约六周时间才完全恢复流量。

但实际上,我们还是无法完全恢复流量,因为某些内容对许多尚未编入索引的页面表现过度和补偿过度。值得注意的是,我们的产品页面在接下来的 2.5 周内都不会被编入索引。

一般来说,六周后来,我们的搜索量恢复了。但是,直到问题解决八周后,我们的内容才完全重新编入索引。

结论

首先,切勿因意外、实验或任何其他原因对您的网站取消索引。刺痛。我估计我们清除了所有自然流量的 12%,相当于商业转化率下降了相同百分比。

我们学到了什么?

一旦页面被重新索引,搜索范围就可以完全恢复。最大的问题是让他们重建索引。

我们用这个意想不到的实验回答了一些关键问题:

我们恢复了吗?

是的,我们已经完全恢复并且所有 URL 似乎都具有相同的搜索可见性。

花了多长时间?

六周后,搜索可见性恢复到基线。大约八到九周后,所有页面都会重新编制索引。