在#在 AskGoogleWebmasters 视频系列的最新一期中,John Mueller 解决了 AJAX 抓取问题。

提交的问题如下:

“#!AJAX 爬虫的现状如何?如何设置重定向?”

Mueller 解决了问题的两个部分。他对每个问题的回答总结在以下部分中。

Hashbang URL 的现状

Mueller 通过简短的 AJAX 抓取历史课程解决了问题的第一部分。

AJAX爬虫方案是Google在十年前提出的,早在JavaScript网站的早期。

正如 Mueller 在视频中指出的那样,十年是网络整体存在的三分之一。因此,按照今天的标准,AJAX 抓取也可能被认为是古老的。

随着 Google 和其他搜索引擎学会如何将 JavaScript 页面呈现给实际浏览器,AJAX 抓取最终变得多余。

事实证明人们仍在使用 AJAX 抓取方案。因此,对于那些询问 hashbang URL 当前状态的人,Mueller 说没有必要再做任何特别的事情了。

“我们将尝试直接呈现 (hashbang url),”穆勒在视频中说。

设置重定向

如果网站所有者希望设置重定向到其他 URL 结构,则必须使用 JavaScript。处理 hashbang URL 时,服务器端重定向是不可能的。

无法使用散列 URL 进行服务器端重定向,因为散列符号后的所有内容都不会发送到服务器。相反,它在浏览器的客户端进行处理。

这就是为什么有必要使用 JavaScript 而不是标准的 301(服务器端)重定向。

设置 JavaScript 重定向后,Googlebot 会在重新处理 hashbang URL 时发现它们并适当地遵循重定向。

在下面的视频中听到 Mueller 对这些问题的完整回答: