A/B 测试您的 SEO 更改可以为您带来竞争优势，并防止可能降低流量的负面更改。在周五的白板上，Emily Potter 不仅分享了为什么 A/B 测试您的更改很重要，还分享了如何建立假设、收集和分析数据以及得出结论的想法。
单击上方的白板图像可在新选项卡中打开高分辨率版本！
视频转录
Moz 的粉丝们好！我是 Emily Potter，在伦敦办公室为 Distilled 工作。今天，我将与您讨论假设检验及其在 SEO 中的统计意义。
在 Distilled，我们使用名为 ODN Distilled Optimized Delivery Network 的平台进行 SEO A/B 测试。现在，在这里，我们使用假设检验。你可能无法部署 ODN，但我仍然认为今天你可以从我所说的内容中学到一些有价值的东西。
假设检验
假设检验的四个主要步骤
所以当我们使用假设检验时，我们使用四个主要步骤：
- 首先，我们制定一个假设。
- 然后我们收集关于该假设的数据。
- 我们分析数据，然后……
- 最后，我们得出一些结论。
A/B 测试最重要的部分是有一个强有力的假设。所以在这里，我讨论了如何制定一个强大的 SEO 假设。
1.形成假设
帮助形成假设的三种机制
现在我们需要记住，通过 SEO，我们正试图影响三件事以增加自然流量。
- 我们要么尝试提高自然点击率。因此，您所做的任何更改都会使您在 SERP 中的存在对您的竞争对手更具吸引力，因此会有更多人点击您的广告。
- 或者，您可以提高有机排名，从而使自己更上一层楼。
- 或者，我们可以对更多关键词进行排名。
您也可能同时影响这三者。但是，您只想确保其中一个目标明确，否则就不是真正的 SEO 测试。
2.收集数据
接下来，我们收集数据。同样，在 Distilled，我们使用 ODN 平台来做到这一点。现在，我们使用 ODN 平台进行 A/B 测试，并将页面划分到统计上相似的桶中。
A/B 测试与控制和变化
所以，一旦我们这样做，我们使用变量组，然后使用数学分析来确定我们是否不进行更改，我们想想变量组会做什么。
我们来了黑线，这就是完成的地方。如果我们不做任何更改，它会预测模型认为变体组会做什么。这条虚线是测试开始的时间。这样您可以在测试后看到分离。蓝线实际上是发生了什么。
现在，由于这两行之间存在差异，我们可以看到变化。如果我们移到这里，我们将绘制这两条线之间的差异。
因为蓝线是高于黑线，所以我们称之为阳性测试。现在，这里的绿色部分是我们的置信区间，这是作为标准的 95% 置信区间。现在我们使用它是因为我们使用统计测试。所以当绿线都在零线以上，或者所有绿线都在零线以下时（对于阴性检验），我们可以称之为统计显着性检验。
为此，我们的最佳估计是这将使会议增加 12%，大约每月约 7,000 场有机会议。现在，这里的任何一方，你都可以看到我写了 2.5%。这就是所有加起来等于 100 的原因，原因是您永远无法获得 100% 自信的结果。总是有机会，有随机的机会，你有假阴性或阳性。这就是为什么我们然后说我们有 97.5% 的信心它是积极的。那是因为我们有 95 加 2.5。
测试不具有统计显着性
现在，在 Distilled，我们发现在许多情况下我们的测试在统计上不显着，但有充分的证据表明它们有所改善。如果我们搬到这里，我有一个例子。所以这是一个在统计上不显着的例子，但我们看到了强劲的增长。
现在你可以看到我们了在我们的绿线中仍然有一个负值区域，这表明在 95% 的置信区间内，这仍然是一个阴性测试。现在，如果我们再次下降到下面，我又做了一次粉红色。所以我们都有 5% 的股份，我们可以在这里说我们对积极结果有 95% 的信心。这是因为 5% 总是高于 5%。
3.分析数据以检验假设
现在，我们这样做的原因是尝试并能够实施我们有很强假设并能够从中取胜的变化，而不仅仅是被完全拒绝。现在出现这种情况的部分原因还在于我们说我们从事的是商业而不是科学。
在这里，我根据假设的强度以及更改成本的低廉或高昂，创建了一个图表，说明我们何时可能部署统计上无关紧要的测试。
强强大的假设/廉价的改变
现在在这里，在你的右上角，当我们有强大的假设和廉价的改变时，我们可以部署它。例如，我们最近对 Distilled 的一位客户进行了这样的测试，该客户将他们的主要关键字添加到他们的 H1。
最终结果将如下图所示。这是一个强有力的假设。实施起来并不昂贵，我们决定部署测试，因为我们非常有信心它仍然是积极的。
错误的假设/便宜的改变
现在，另一方面，如果你的假设很弱，但仍然很便宜，那么也许有证据表明这个假设仍然是合理的。你必须与客户沟通。
Strong Assumptions/Expensive Change
在具有强假设点的昂贵变更中，如果您根据要实现的百分比变更来计算预期收入，则必须权衡回报中获得的收益。
错误假设/廉价变异
如果假设较弱且变异很大，那么我们只需要在它具有统计显着性时才部署它。
4.得出结论
现在我们需要记住，当我们进行假设检验时，我们所做的只是试图检验原假设。这并不意味着无效的结果完全没有效果。这意味着我们不能接受或拒绝假设。我们所说的是，它是如此随机，以至于我们不能说它是真的。
既然 95% 置信区间接受或拒绝假设，我们就说数据不是噪声。当它的置信度低于 95% 时，正如我们在这里所说的，我们不能说我们通过科学测试学到了一些东西，但我们仍然可以说我们有很好的证据表明它会产生积极影响。这些页面上的效果。
测试的优势
现在，当我们与客户讨论这个问题时，是因为我们的真正目标是提供相对于其他垂直行业的竞争优势。现在，测试的主要优势是避免那些负面变化。
我们只是想确保我们所做的更改不会真正降低流量，我们已经看到了很多。在 Distilled，我们称之为躲避子弹。
现在，这是我希望您能够处理并能够与您的客户或您自己的网站一起使用的东西。希望您可以开始假设，即使您不能部署像 ODN 这样的东西，您仍然可以使用 GA 数据来尝试更好地了解这些变化是在帮助还是损害流量。这就是我今天为你准备的一切。谢谢。
通过 Speechpad.com 进行视频转录
