谷歌网站Admin Trends 分析师 John Mueller 最近解释了 Googlebot 如何在没有指向网站的链接时找到网站。

这个话题是在 Reddit 帖子中提出的,Mueller 对此做出了回应。该主题询问:

“如果没有人链接到该网站,并且该网站尚未提交到 Search Console,Googlebot 如何找到该网站?”

作为回应,穆勒表示确定如何找到这些网站是“棘手的”。

一些可能性包括:

  • 第三方跟踪域名注册(带链接)
  • 由于 URL 拼写错误导致的意外反向链接
  • 链接到相关内容的工具栏
  • CMS 可能已生成站点地图或 RSS/Atom 提要

如果您绝对不想找到它们网站,Mueller 说要使用 noindex 标签。不要认为搜索引擎找不到网站只是因为它没有被推广或链接。

Mueller 还为希望反其道而行之的网站所有者提供建议,即启动一个影响最大的新网站:

“如果您想启动一些新的东西(假设您正在尝试使用一个新的未知域),一个想法可能是使用站点删除工具从搜索中隐藏该站点,然后取消让 Google 尽早抓取内容并为其编制索引的请求,但会阻止它出现在搜索中...

爬虫无法找到有保证的站点的唯一选择是使用 noindex 标记。