如何使用 Chrome 以 Googlebot 身份查看网站

还在为确保 Googlebot 正确抓取并索引您的网站而苦恼吗？对于技术型 SEO 来说，渲染问题（尤其是在 JavaScript 密集型网站上）可能会导致排名下降和内容隐藏

2025年10月13日 02:32:29 0 16

为什么我应该以 Googlebot 的身份查看网站？

过去，技术性 SEO 审核较为简单，网站依赖 HTML 和 CSS，JavaScript 仅限于动画等小幅增强。如今，整个网站都使用 JavaScript 构建，工作负载从服务器转移到浏览器。这意味着包括 Googlebot 在内的搜索机器人必须在客户端渲染页面，这个过程非常耗费资源，而且容易出现延迟。

搜索机器人经常难以处理 JavaScript。例如，Google 机器人会先处理原始 HTML，可能需要几天甚至几周的时间才能完全渲染 JavaScript 内容，具体取决于网站的具体情况。一些网站会使用动态渲染来规避这些挑战，为机器人提供服务器端版本，为用户提供客户端版本。

简短的吐槽

一般来说，这种设置会使网站过于复杂，并且比服务器端渲染或传统 HTML 网站带来更多技术性 SEO 问题。值得庆幸的是，动态渲染网站的使用率正在下降。

虽然存在例外，但我认为客户端渲染的网站不是一个好主意。网站的设计应该以最低设备规格为基准，并通过 JavaScript 逐步增强，以提升那些能够处理额外功能的设备用户的体验。

我的轶事证据表明，对于依赖屏幕阅读器等无障碍解决方案的用户来说，客户端渲染的网站通常更难访问。各种研究都支持这一观点，尽管我看到的研究都是由致力于无障碍访问的公司和慈善机构进行的（我认为，为了所有人的利益，任何偏见或许都是合理的）。然而，也存在技术性 SEO 和可用性交叉的情况。

好消息

以 Googlebot 的身份查看网站，可以检测机器人和用户所见内容之间的差异。虽然这些视图不必完全相同，但关键元素（例如导航和内容）必须保持一致。这种方法有助于识别由渲染限制和其他搜索机器人特有的怪癖导致的索引和排名问题。

我们能看到 Googlebot 看到的内容吗？

不，不完全是。

Googlebot 使用无头版 Chrome 浏览器来渲染网页，但即使使用本文中的技术，也无法完美复制其行为。例如，Googlebot 对 JavaScript 的处理方式可能难以预测。

2024 年 9 月的一个显著错误导致 Google 无法检测许多基于 React 的网站客户端渲染代码中的元 noindex 标签。此类问题凸显了模拟 Googlebot 的局限性，尤其是在标签和主要内容等重要的 SEO 元素方面。

然而，我们的目标是尽可能地模拟 Googlebot 的移动优先索引。为此，我使用了以下工具组合：

用于直接模拟的 Googlebot 浏览器。
Screaming Frog SEO Spider模仿并渲染为 Googlebot。
Google 的工具，例如 Search Console 中的 URL Inspection 工具和用于屏幕截图和代码分析的Rich Results Test 。

值得注意的是，Google 的工具，尤其是在 2023 年改用“Google-InspectionTool”用户代理之后，并不能完全准确地反映 Googlebot 所看到的内容。但是，当与 Googlebot 浏览器和 SEO Spider 一起使用时，它们对于识别潜在问题和进行故障排除非常有用。

为什么要使用单独的浏览器以 Googlebot 身份查看网站？

使用专用的 Googlebot 浏览器可以简化技术 SEO 审核，并提高结果的准确性。原因如下：

1. 便利性

专用浏览器可让您快速模拟 Googlebot，无需依赖多种工具，从而节省时间和精力。在标准浏览器扩展程序中切换用户代理效率低下，尤其是在审核服务器响应不一致或内容动态的网站时。

此外，某些 Googlebot 专用的 Chrome 设置不会跨标签页或会话保留，并且某些设置（例如，停用 JavaScript）可能会干扰您正在处理的其他标签页。您可以使用单独的浏览器来规避这些挑战并简化审核流程。

2. 提高准确性

浏览器扩展程序可能会无意中改变网站的外观或行为。专用的 Googlebot 浏览器可以最大限度地减少扩展程序的数量，从而减少干扰并确保更准确地模拟 Googlebot 的体验。

3. 避免错误

在标准浏览器中，很容易忘记关闭 Googlebot 欺骗功能，这可能会导致网站出现故障或被阻止访问。我甚至因为欺骗 Googlebot 而被网站屏蔽，不得不通过电子邮件向他们发送我的 IP 地址来解除屏蔽。

4. 挑战面前仍保持灵活性

多年来，我的 Googlebot 浏览器一直运行顺畅。然而，随着 Cloudflare 的兴起及其对电商网站更严格的安全协议，我经常不得不要求客户将特定的 IP 添加到允许列表中，以便我在测试他们的网站的同时欺骗 Googlebot。

如果无法使用白名单，我会转而使用 Bingbot 或 DuckDuckBot 用户代理等替代方案。虽然这些方案的可靠性不如模仿 Googlebot，但仍然可以发现有价值的洞察。另一个替代方案是在 Google Search Console中检查渲染的 HTML ，尽管 Google Search Console 的用户代理与 Google 的抓取工具不同，存在一些局限性，但它仍然是一种模拟 Googlebot 行为的可靠方法。

如果我要审核一个屏蔽了非 Google Googlebot 的网站，并且我的 IP 地址能够被允许访问，Googlebot 浏览器仍然是我的首选工具。它不仅仅是一个用户代理切换器，还能提供最全面的方法来了解 Googlebot 所看到的内容。

哪些 SEO 审核对 Googlebot 浏览器有用？

Googlebot 浏览器最常见的用例是审核依赖客户端或动态渲染的网站。它可以直接比较 Googlebot 看到的内容与普通访问者看到的内容，从而突出显示可能影响您网站搜索结果表现的差异。

鉴于我建议将浏览器扩展的数量限制为必要的少数，因此与加载扩展的浏览器相比，它还可以更准确地测试实际 Chrome 用户的网站体验，尤其是在使用 Chrome 内置的 DevTools 和 Lighthouse 进行速度审核时。

即使对于不使用动态渲染的网站，你也永远不知道通过欺骗 Googlebot 可能会发现什么。在超过八年的电商网站审核经验中，我仍然对自己遇到的独特问题感到惊讶。

在 Googlebot 审核期间您应该调查什么？

导航差异：用户和机器人视图之间的主导航是否一致？
内容可见性： Googlebot 是否能够看到您想要索引的内容？
JavaScript 索引延迟：如果网站依赖于 JavaScript 渲染，新内容是否会被快速索引（例如，对于事件或产品发布）？
服务器响应问题： URL 是否返回了正确的服务器响应？例如，错误的 URL 可能会向 Googlebot 显示 200 OK，但向访问者显示 404 Not Found。
页面布局变化：我经常看到有人在欺骗 Googlebot 时，链接会显示为黑色背景上的蓝色文本。这种设计机器可以读取，但对用户来说却很不友好。如果 Googlebot 无法正确渲染您的网站，它就不知道该优先处理哪些内容。
基于地理位置的重定向：许多网站会根据地理位置进行重定向。由于 Googlebot 主要从美国 IP 地址抓取数据，因此务必验证您的网站如何处理此类请求。

审核的详细程度取决于具体情况，但 Chrome 浏览器内置了许多用于技术性 SEO 审核的工具。例如，我经常会比较“控制台”和“网络”标签页的数据，以识别访客浏览量与 Googlebot 之间的差异。此过程可以捕获被 Googlebot 拦截的文件或可能被忽略的缺失内容。

如何设置您的 Googlebot 浏览器

设置 Googlebot 浏览器大约需要 30 分钟，这样可以更轻松地以 Googlebot 身份查看网页。以下是设置方法：

步骤 1：下载并安装 Chrome 或 Canary

如果 Chrome 不是您的默认浏览器，您可以将其用作 Googlebot 浏览器。
如果 Chrome 是您的默认浏览器，请下载并安装 Chrome Canary。

Canary 是 Chrome 的一个开发版本，Google 用它来测试新功能。它独立于默认的 Chrome 安装运行，其黄色图标很容易识别，这象征着曾经在矿井中用于探测有毒气体的金丝雀。

虽然 Canary 被标记为“不稳定”，但我使用它作为我的 Googlebot 浏览器并没有遇到任何问题。事实上，它提供了一些对审核有用的测试版功能。如果这些功能也能在 Chrome 上实现，你将领先一步，并给那些不使用 Canary 的同事留下深刻印象。

第 2 步：安装浏览器扩展

为了优化你的 Googlebot 浏览器，我建议安装五个关键的扩展程序和一个书签小工具来优化我的 Googlebot 浏览器。这些工具可以模拟 Googlebot 并改进技术 SEO 审核，其中三个对于 JavaScript 密集型网站尤其有用。具体如下：

模拟 Googlebot 的扩展程序：

用户代理切换器：切换浏览器的用户代理以模仿 Googlebot 的行为。
Web 开发人员：允许您轻松打开或关闭 JavaScript，从而深入了解 Googlebot 如何处理该网站。
Windscribe（或您首选的 VPN）：模拟 Googlebot 的位置，通常在美国，确保考虑到基于位置的差异。

其他收藏：

链接重定向跟踪：快速检查服务器响应和 HTTP 标头以进行技术 SEO 审核。
查看渲染源：将原始 HTML（服务器传送的内容）与渲染的 HTML（浏览器处理的内容）进行比较。

书签：

NoJS Side-by-Side：比较启用和不启用 JavaScript 的网页外观，更容易发现差异。

在进入第 3 步之前，我将分解一下刚才提到的这些扩展

User-Agent Switcher 扩展

User-Agent Switcher 的作用正如其名：切换浏览器的用户代理。虽然 Chrome 和 Canary 浏览器内置了用户代理设置，但它仅适用于当前活动的标签页，并在关闭浏览器时重置。使用此扩展程序可确保跨会话的一致性。

我从 Chrome 的浏览器设置中获取 Googlebot 用户代理字符串，在撰写本文时，它是 Chrome 的最新版本（请注意，下面我获取的是 Chrome 中的用户代理，而不是 Canary 中的用户代理）。

设置用户代理切换器：

1.获取Googlebot用户代理字符串：

按 F12 或转到更多工具>开发人员工具打开 Chrome DevTools。
导航到“网络”选项卡。
从右上角的网络汉堡菜单中，选择更多工具>网络条件。
在网络条件选项卡中：
- 取消勾选“使用浏览器默认设置”。
- 从列表中选择“Googlebot 智能手机”。
- 将列表下方字段中的用户代理复制并粘贴到用户代理切换器扩展程序列表中（见下方另一张截图）。如果您的主浏览器是 Chrome，请记得将其切换为默认用户代理。
给 Chrome 用户的一个额外提示：
- 当您在这里时，如果 Chrome 将成为您的 Googlebot 浏览器，请在 DevTools 中勾选“禁用缓存”，以便在测试期间获得更准确的结果。

2. 将用户代理添加到扩展：

右键单击浏览器工具栏中的“用户代理切换器”图标，然后单击“选项”（见下面的屏幕截图）。
“指示标志”是浏览器工具栏中的文本，用于显示您选择的用户代理。请将 Googlebot 用户代理字符串粘贴到列表中，并为其添加标签（例如，“GS”表示 Googlebot 智能手机）。
或者，添加其他用户代理，如 Googlebot Desktop、Bingbots 或 DuckDuckBot，以进行更广泛的测试。

为什么要欺骗 Googlebot 的用户代理？

Web 服务器通过用户代理字符串识别浏览器。例如，使用 Chrome 浏览器的 Windows 10 设备的用户代理可能如下所示：

Mozilla/5.0（Windows NT 10.0；WOW64）AppleWebKit/537.36（KHTML，如 Gecko）Chrome/131.0.0.0 Safari/537.36

如果您对用户代理字符串的历史以及其他浏览器出现在 Chrome 的用户代理中的原因感到好奇，您可能会发现像 用户代理字符串的历史这样的资源很有趣。

Web 开发人员扩展

Web Developer 扩展程序是技术 SEO 的必备工具，尤其是在审核 JavaScript 内容丰富的网站时。在我的 Googlebot 浏览器中，我会定期打开和关闭 JavaScript，以模拟 Googlebot 处理网页的方式。

为什么要禁用 JavaScript？

Googlebot 不会在首次抓取网址时执行所有 JavaScript。为了了解它在呈现 JavaScript 之前看到的内容，请停用 JavaScript。这样可以显示原始 HTML 内容，并有助于识别关键问题，例如缺少导航或依赖 JavaScript 显示的内容。

通过使用此扩展切换 JavaScript，您可以深入了解您的网站在关键的第一次抓取过程中对搜索引擎的表现。

Windscribe（或其他 VPN）

Windscribe 或任何可靠的 VPN 对于模拟 Googlebot 典型的美国位置非常有用。我使用的是 Windscribe Pro 帐户，他们的免费套餐包含每月最多 2GB 的数据流量，并提供多个美国位置。

在 Googlebot 浏览器中使用 VPN 的提示：

地理位置并不重要： Googlebot 主要从美国抓取数据，所以任何美国地区都可以。为了好玩，我把哥谭市想象成真实存在的（而且没有恶棍）。
禁用不必要的设置： Windscribe 的浏览器扩展程序默认会屏蔽广告，这些广告可能会干扰网页的呈现。请确保右上角的两个图标显示为零。
通过应用程序使用浏览器扩展程序： VPN 扩展程序将位置欺骗与您的 Googlebot 浏览器联系起来，确保您的标准浏览不受影响。

这些工具与用户代理切换器配对，增强了您模拟 Googlebot 的能力，揭示了内容差异和潜在的索引问题。

为什么要伪造 Googlebot 的位置？

Googlebot 主要抓取来自美国 IP 的网站，在进行审核时模仿这种行为有几个原因：

基于地理位置的屏蔽：某些网站会屏蔽美国 IP 地址，这意味着 Googlebot 无法抓取或索引这些 IP 地址。伪造美国 IP 地址可确保您以 Googlebot 的方式访问该网站。
特定位置的重定向：许多网站会根据地理位置提供不同的内容。例如，一家企业可能为亚洲和美国分别设立了网站，美国访客会被自动重定向到美国网站。在这种情况下，Googlebot 可能永远不会遇到亚洲版本，从而导致其无法被收录。

其他可用于审核 JavaScript 网站的 Chrome 扩展程序

除了 User-Agent Switcher 和 VPN 等基本工具外，我还依赖以下几个工具进行技术审核：

链接重定向跟踪：显示服务器响应和 HTTP 标头，帮助解决技术问题。
查看渲染源：比较原始 HTML（由服务器提供）和渲染的 HTML（由浏览器处理），帮助您发现用户和 Googlebot 所看到的内容之间的差异。
NoJS 并排书签：允许您比较启用和未启用 JavaScript 的网页，并在同一浏览器窗口中并排显示。

好的，回到步骤 3

步骤 3：配置浏览器设置以模拟 Googlebot

接下来，我们将配置 Googlebot 浏览器设置，以匹配 Googlebot 在抓取网站时不支持的内容。

Googlebot 不支持的内容：

服务人员：由于点击搜索结果的用户可能之前没有访问过该页面，因此 Googlebot 不会缓存数据以供以后访问。
权限请求： Googlebot 不处理推送通知、摄像头访问、地理位置请求以及类似功能。因此，任何依赖这些权限的内容都不会被 Googlebot 看到。
状态性： Googlebot 是无状态的，这意味着它不会保留 Cookie、会话存储、本地存储或 IndexedDB 等数据。虽然这些机制可以临时存储数据，但在 Googlebot 抓取下一个网址之前，这些数据会被清除。

这些要点是从Eric Enge对 Google 的 Martin Splitt 的采访中总结出来的。