20.分钟剩余

当像我们这样的营销人员创造时登陆页面,写电子邮件副本或设计呼叫动作按钮,可以使用我们的直觉来预测会让人们点击和转换是诱人的。

但基于“感觉”的营销决18新利在线下载定可能是对结果的不利影响。而不是依赖猜测或假设来制作这些决定,而是更好地运行A / B测试 - 有时称为分型测试。

免费下载:A/B测试指南和工具包

A / B测试可能是有价值的,因为不同的受众表现,良好,不同。为一家公司工作的东西可能不一定为另一家的工作。事实上,转换率优化(CRO)专家讨厌“最佳实践”一词,因为它实际上并不是最好的做法

但A / B测试也可以复杂。如果您不小心,您可能会对人们喜欢和什么使其点击 - 决策可以轻松误导您的策略的其他部分。

继续阅读以了解在数据收集之前,期间和之后如何进行A / B测试,以便您可以从结果中获得最佳决策。

要运行A / B测试,您需要创建两个不同版本的一件内容,更改为单个多变的。然后,您将向两个类似大小的受众展示这两个版本,并分析了在特定时间段内更好地执行的(足以准确结论您的结果)。

解释A / B测试是什么

图像源码

A / B检验有助于营销人员观察一个版本的一块营销内容如何与另一个版本一起执行。18新利在线下载以下是两种类型的A / B测试您可能会努力提高您的网站的转换率:

示例1:用户体验测试

也许你想看看将某个呼叫动作(CTA)按钮移动到主页的顶部,而不是将其保持在侧栏中将提高其点击率。

为了对这个理论进行A/B测试,你需要创建另一个使用新的CTA布局的替代网页。现有的设计与侧栏CTA -或"控制“ - 是A. Version B版本B顶部的CTA是”挑战者。“然后,您可以通过将它们中的每一个显示到预定百分比的网站访问者来测试这两个版本。理想情况下,看到任何一个版本的访问者的百分比是相同的。

了解如何轻松A / B测试您的网站的组件HUBSPOT的营销18新利在线下载中心

示例2:设计测试

也许你想知道改变呼叫动作(CTA)按钮的颜色是否可以增加其点击率。

到A / B测试这个理论,您可以设计具有不同按钮颜色的替代CTA按钮,导致相同的着陆页作为控制。如果您通常在营销内容中使用红色呼叫动作按钮,并且绿色变异在您的A / B测试后接收更多点击,则可能会使您从现在18新利在线下载开始将呼叫动作按钮的默认颜色更改为绿色在。

要了解更多关于A/B测试的信息,请点击这里下载我们的免费入门指南。

A / B营销中的测试18新利在线下载

A / B测试对营销团队具有多种优势,具体取决于您决定测试的内容。18新利在线下载尽管如此,这些测试对业务有价值,因为它们的成本低但奖励高。

让我们说你雇用一个内容创造者,薪水为50,000美元。此内容创建者每周为公司博客发布五款文章,每年共260篇文章。如果公司博客上的普通帖子产生10个领先优势,您可以略高于192美元的费用,以获得10美元的业务领导(50,000美元的工资÷260条=每篇文章192美元)。这是一个坚实的变化。

现在,如果您询问此内容创建者花费两天的时间开发A / B测试文章,而不是写作文章在那段时间,您可能会燃烧192美元,因为您正在发布较少的文章。但是,如果A / B测试发现您可以将每篇文章的转换率从10到20个引线增加,您只需花费192美元即可将您的企业从博客中获取的客户数量增加两倍。

如果测试失败,当然,你丢失了192美元 - 但现在你可以制作你的下一个A / B测试更受教育。如果第二个测试成功加倍您的博客的转换率,最终将花费284美元来掌握公司的收入增加。无论您的A / B测试失败多少次,最终成功几乎总是超过导致它的成本。

特色资源

营销人员的完整A / B检测套件

填写此表格以获取您的套件。

有许多类型的分裂测试,您可以运行以使实验最终不值得。以下是某些共同的目标营销人员在A / B测试时为其业务提供:

  • 增加网站流量:测试不同的博客帖子标题或网页标题可以更改点击该超链接标题的人数来到您的网站。这可以增加网站流量。
  • 更高的转换率:在你的cta上测试不同的位置,颜色,甚至锚文本都可以改变点击这些cta进入登录页面的人数。这可以增加填写网站上表格的人数,向您提交他们的联系信息,并将“转换为铅。
  • 较低的反弹率:如果您的网站访问者在访问您的网站后快速离开(或“弹跳”),请测试不同的博客介绍,字体或精选图像可以减少此反弹率并保留更多访客。
  • 降低购物车放弃:电子商务行业的平均水平为70%的客户将他们的网站留在购物车中的物品。这被称为“购物车放弃”,当然是对任何在线商店有害。测试不同的产品照片,退房页面设计,甚至显示运输成本可能降低此放弃率。

现在,让我们走过核对清单来设置,运行和测量A / B测试。

如何进行A / B测试

AB测试图形

跟随我们的免费A / B检测套件,您需要运行A / B测试,包括测试跟踪模板,指令和灵感的方法,以及统计显着性计算器,看看您的测试是否赢得胜利,损失,或不确定。

在A / B测试之前

让我们涵盖在开始A / B测试之前要采取的步骤。

1.选择一个变量来测试。

当你优化你的网页和电子邮件,你可能会发现您想要测试有许多变量。但是要评估改变的效果是如何,你想要孤立一个“独立变量并衡量它的表现。否则,您就不能确定是哪个变量导致了性能的变化。

您可以为单个网页或电子邮件测试多个变量 - 只需确保您一次测试它们。

为了确定你的变量,你需要查看你的营销资源中的元素以及它们在设计、措辞和布局方面的可能选择。18新利在线下载您可能测试的其他内容包括电子邮件主题行、发件人姓名和个性化电子邮件的不同方法。

请记住,即使在电子邮件中更改图像也是简单的更改或呼叫到动作按钮上的单词,可以推动大改进。实际上,这些变化通常比较大的更容易测量。

笔记:有时候会测试多个变量而不是单个变量的有意义。这是一个名为多变量测试的过程。如果您想知道您是否应该运行A / B测试与多变量测试,这里有一篇来自Optimizely的有用文章比较这两个过程。

2.确定你的目标。

虽然您在任何一个测试期间衡量了几个指标,但选择主要指标以专注于之前你运行测试。事实上,在你建立第二个变奏之前。这是你的”依赖变量,“这是基于如何操纵自变量的变化。

考虑在拆分测试结束时需要这个相关变量的位置。你甚至可能陈述一名官方假设然后根据这个预测检查你的结果。

如果等待直到后来思考哪些指标对您来说很重要,您的目标是什么,以及您提出的更改如何影响用户行为,那么您可能无法以最有效的方式设置测试。

3.创建“控制”和“挑战者”。

您现在拥有您的独立变量,从属变量和所需的结果。使用此信息将无论您的控制方式设置为您的控制方案。如果您正在测试网页,则这是已存在的未改变页面。如果您正在测试着陆页,这将是您通常使用的登陆页面设计和副本。

从那里,建立一个挑战者 - 改变的网站,登陆页面,或者您可以针对您的控制测试的电子邮件。例如,如果您想知道是否向着陆页添加推荐会在转换中进行差异,设置控制页面,没有推荐。然后,用推荐创造挑战者。

4.平等和随机地拆分样本组。

对于您对观众进行更大控制的测试 - 就像电子邮件一样 - 您需要使用两种或更多的受众进行测试,该受众等于相同的受众,以便具有确凿的结果。

如何做到这一点取决于你所使用的A/B测试工具。如果你是一个Hubspot Enterprise客户在电子邮件上进行A / B测试例如,Hubspot将自动将流量分为变体,以便每个变体都会获得访问者的随机采样。

5.确定样本大小(如果适用)。

你怎么确定样本大小将根据您的A / B测试工具以及您正在运行的A / B测试的类型而异。

如果您是A / B测试电子邮件,您可能希望向列表的子集发送A / B测试,这足以实现统计上显着的结果。最终,您将挑选一个胜利者并将胜利的变化发送到列表的其余部分。(参见本文末尾的“拆分测试”电子书,以便更多地计算样本大小。)

如果您是Hubspot Enterprise客户,您将有一些帮助使用滑块确定样本组的大小。它会让您对任何示例大小进行50/50 A / B测试 - 尽管所有其他样本拆分都需要至少1,000个收件人的列表。

AB测试HUBspot中的示例大小设置

如果你正在测试一些东西没有有一个有限的受众,如网页,那么您保持测试运行的时间将直接影响您的样本大小。您需要让您的测试运行长度足以获得大量的视图。否则,难以判断变化之间是否存在统计上有统计学差异。

6.确定您的结果需要有多重要。

一旦你选择了你的目标度量,就会考虑你的结果有多重要,以证明选择一个变异对另一个变化。统计显着性是A / B测试过程的超重部分,通常误解。如果您需要进修,我推荐从营销立场阅读统计显着性的博客帖子18新利在线下载

您的置信水平的百分比越高,您可以达到您的结果。在大多数情况下,您希望最小95%的置信水平 - 最好是98% - 特别是如果是建立的时间密集实验。但是,如果您不需要测试是严格的,有时使用较低的置信率有意义。

马特Rheault是Hubspot的高级软件工程师,喜欢思考统计显着性,如下注目。你觉得什么缺乏赌注?说:“我80%的人确定这是正确的设计,我愿意打赌它上的一切”类似于运行A / B测试到80%的意义,然后宣布获胜者。

Rheault还说,在测试只略微提高转换率的东西时,您可能会想要更高的置信阈值。为什么?因为随机方差更有可能发挥更大的作用。

他解释说:“我们感到更加安全地降低我们的置信阈值,这是一个可能会提高转换率,例如重新设计的英雄部分等实验。

“这里的外卖是更激进的变化,欠科学我们需要过程,明智的。更具体的变化(按钮颜色,显微术等),我们应该更科学,因为变化是不太可能对转换率有很大且明显的影响。“

7.确保您只在任何广告系列时运行一次测试。

为一个活动测试多个东西——即使它不是基于相同的资产——可能会使结果复杂化。例如,如果你在A/B测试登陆页面的同时,又在A/B测试一个指向登陆页面的邮件活动,你怎么知道是哪个变化导致了潜在客户的增加?

在A / B测试期间

让我们介绍一下A/B测试过程中需要采取的步骤。

8.使用A / B测试工具。

要在您的网站上或在电子邮件中进行A / B测试,您需要使用A / B测试工具。如果您是Hubspot Enterprise客户,则Hubspot软件具有可让您A / B测试电子邮件的功能(学习这里的方式),呼叫 - 行动(学习这里的方式)和登陆页面(学习这里的方式)。

对于非推荐企业客户,其他选项包括谷歌分析,这使您可以使用最多10个单个网页的完整版本,并使用随机用户样本进行比较它们的性能。

9.同时测试两种变化。

时间在您的营销活动的结果中起着重要作用,无论是日子,一周中的一天,或一年中的月份18新利在线下载。如果您在一个月和版本B期间运行版本,您如何知道性能变化是否是由不同的设计或不同的月份引起的?

运行A / B测试时,您需要同时运行两个变体,否则您可能会留下第二次猜测结果。

这里唯一的例外是如果您正在测试时间本身,例如查找发送电子邮件的最佳时间。这是测试的好事,因为根据您的业务优惠以及您的订阅者是您的订户,可靠性的最佳时间可以通过工业和目标市场来显着变化。

10.给出A / B测试足够的时间来产生有用的数据。

同样,您将想确保您让您的测试足够长,以获得大量的示例大小。否则,它会很难判断两种变体之间是否存在统计上有显着差异。

足够长多久了?根据您的公司以及如何执行A / B测试,在数小时或数天或数周内可能发生统计学上显着的结果。获得统计上显着的结果需要多长时间的大部分是您获得的流量是多少 - 所以,如果您的业务对您的网站没有大量流量,您将需要更长时间才能运行A / B测试。

阅读此博客文章以了解有关示例大小和时序的更多信息

11.要求真实用户的反馈。

A / B测试与定量数据有很大关系......但这并不一定帮助您了解为什么人们对别人采取某些行动。当您运行A / B测试时,为什么不收集真实用户的定性反馈?

要求人们提出意见的最佳方法之一是通过调查或民意调查。您可能会在您的网站上添加一个退出调查,询问访客为什么他们没有点击某个CTA,或者在您的谢谢页面上,询问访问者为什么选择他们单击一个按钮或填写表单。

例如,您可能会发现很多人点击了将它们带到电子书的呼叫动作中,但一旦他们看到价格,他们就没有转换。这种信息将为您提供大量洞察,为什么您的用户以某种方式行为。

A/B测试后

最后,让我们介绍A/B测试之后要采取的步骤。

12.关注你的目标指标。

同样,虽然您将衡量多个指标,但在您进行分析时,请注意您的主要目标度量标准。

举个例子来说吧,如果你测试了两种不同的电子邮件并选择了潜在客户作为你的主要指标,那么就不要去关注打开率或点击率。你可能会看到较高的点击率和较差的转换率,在这种情况下,你最终可能会选择具有较低点击率的变体。

13.使用我们的A/B测试计算器测量结果的重要性。

既然你确定了哪个变化表现了最好的,现在是时候确定你的结果是否有统计学意义。换句话说,他们足以证明改变的原理吗?

要了解出来,您需要进行统计显着性的测试。你可以手动做到这一点......或者你可以从你的实验中插上结果我们的免费A / B测试计算器

对于您测试的每个变体,系统将提示您输入尝试的总数,例如发送的电子邮件或显示的印象。然后,输入它完成的目标数量 - 通常会看到点击次数,但这也可以是其他类型的转换。

HUBSPOT AB测试计算器

计算器将吐出你的数据产生的对获胜变异的信心水平。然后,将该数字与您选择的值进行衡量,以确定统计意义。

14.根据您的结果采取行动。

如果一个变异比另一个变化更好,你有一个胜利者。通过禁用您的A / B测试工具中的丢失变化来完成测试。

如果任何变化都没有统计上更好,那么你才知道你测试的变量没有影响结果,你必须将测试标记为不确定。在这种情况下,坚持原始变化,或运行另一个测试。您可以使用失败的数据来帮助您弄清楚新测试的新迭代。

虽然A / B测试可帮助您对案例逐个影响结果,但您也可以应用您从每个测试中学到的课程并将其应用于未来的努力。

例如,如果您在电子邮件营销中进行了A / B测试并且已经反复发现在电子邮件主题中使用数字,如果使用更好的点击率,您18新利在线下载可能希望考虑使用更多您的电子邮件中的策略。

15.计划下一个/ b测试。

您刚刚完成的A / B测试可能已帮助您发现一种新的方式来使您的营销内容更有效 - 但不要在那里停止。18新利在线下载总有空间更多的优化。

您甚至可以尝试在同一网页的另一个功能上进行A / B测试,或者您刚刚进行测试。例如,如果您刚刚在着陆页上测试了标题,为什么不对身体副本进行新测试?或配色方案?或图像?始终关注增加转换率和领导的机会。

A / B测试的例子

我们讨论了如何在营销中使用A / B测试以及如何进行一项 - 但它们实际上如何看待实18新利在线下载践?

正如您可能猜到的那样,我们运行许多A / B测试,以增加我们平台的参与和驱动转换。以下是A / B测试的五个例子,以激发您自己的实验。

1.网站搜索

站点搜索栏帮助用户快速找到特定网站上的内容。从以前的分析中发现了Hubspot,即与其网站搜索栏互动的访客更有可能在博客帖子上转换。因此,我们试图增加与搜索栏的接触时运行A / B测试。

在此测试中,搜索栏功能是独立变量和内容提供的视图,谢谢您的页面是依赖变量。我们在实验中使用了一个控制条件和三个挑战者条件。

在控制条件(变体A)中,搜索栏保持不变。

Hubspot搜索栏中的控制条件A B测试

在Variant B中,搜索栏更大,更突出,占位符文本被设置为“按主题进行搜索”。

hub点搜索条AB测试的变体b

变种C和变种B看起来一模一样,但只是搜索了HubSpot博客,而不是整个网站。

在变量D中,搜索栏更大,但占位符文本被设置为“搜索博客”。此变体仅搜索了Hubspot博客

hub点搜索条AB测试的变式c

我们发现变体D是最有效的:它在控制上增加了3.4%的转化,并增加了使用搜索栏的用户的百分比为6.5%。

2.移动商品交易顾问基金

Hubspot在我们的博客文章中使用了几个CTA以进行内容提供,包括帖子正文以及页面底部的内容。我们广泛地测试这些CTA优化他们的表现。

对于我们的移动用户来说,我们运行了A / B测试,看看哪种类型的底部CTA转换为最佳。对于我们的独立变量,我们改变了CTA BAR的设计。具体而言,我们在考试中使用了一个控制和三个挑战者。对于我们的受抚养变量,我们在CTA上使用了PageViews,谢谢Page和CTA点击。

控制条件包括我们在帖子底部的CTA正常放置。在变体B中,CTA没有关闭或最小化选项。

Hubspot Mobile CTA AB测试的变体B在变体C中,移动读取器可以通过点击X图标来关闭CTA。一旦关闭,它就不会重新出现。

Hubspot Mobile CTA AB测试的变体C

在变体D中,我们包含了一个选项,使用向上/向下插入符号最小化CTA。

Hubspot移动CTA的变体D A B检验

我们的测试发现所有变体都能成功。变异D最成功,对照对转化的增加14.6%。随后是变体C,增加11.4%的增加和变体B,增加7.9%。

3.作者CTA.

在另一个CTA实验中,Hubspot测试了在博客帖子顶部的作者CTA中添加单词和其他描述性语言是否会增加内容引线。过去的研究表明,在CTA文本中使用“免费”将推动更多的转换,并且指定所提供的内容类型的文本将有助于SEO和可访问性。

在测试中,自变量为CTA文本,主要因变量为内容报价形式的转化率。

在控制条件下,作者CTA文本不变(请参阅下面的图像中的橙色按钮)。

变异体A的作者CTA AB测试

在变体B中,“免费”单词被添加到CTA文本中。

作者CTA AB测试的变体B

在变体C中,除了“自由”之外,还将描述性措辞添加到CTA文本中。

作者CTA AB测试的变体C

有趣的是,与对照相比,变体B造成了表单提交的损失,下降了14%。这是出乎意料的,因为在内容提供文本中包括“免费”,因此被广泛认为是最好的做法。

同时,变体C中的形式提交表现出4%的控制。得出结论,向作者CTA添加描述性文本帮助用户了解报价,从而使其更有可能下​​载。

4.博客目录

为了帮助用户更好地浏览博客,HubSpot测试了一个新的目录(TOC)模块。其目标是通过更快地向读者呈现他们想要的内容来改善用户体验。我们还测试了在这个TOC模块中添加CTA是否会增加转换。

此A / B测试的独立变量是博客文章中的包含和类型的TOC模块,依赖变量在内容提供表单提交中的转换率,并点击TOC模块内的CTA上的CTA。

控制条件不包括新的TOC模块 - 控制帖子,无论是没有内容表,还是在文章顶部附近的帖子的主体内的锚链路中的简单项目符号列表(如下图所示)。

hubspot博客章节模块AB测试的变型A

在变体B中,将新的TOC模块添加到博客帖子中。此模块粘稠,含义仍然保持屏幕上,因为用户滚动页面。变体B还包括模块底部的内容提供CTA。

Hubspot博客章节模块AB测试的变体B

变体C包括变体B的相同模块,但删除了CTA。

HUBSPOT博客章节模块AB测试的变体C

变体B和C都没有提高博客帖子的转换率。控制条件优于变体B×7%,并且与变体C同样执行。还有很少的用户与新的TOC模块或模块内的CTA相互作用。

5.审查通知

为了确定收集用户评论的最佳方式,我们对电子邮件通知和应用内部通知进行了分离测试。这里,自变量是通知的类型,因变量是在所有打开通知的人中,没有阅读评论的人占的百分比。

在控制中,Hubspot发送了一个纯文本的电子邮件通知,要求用户留下评论。在Variant B中,Hubspot发送了一封具有证书映像的电子邮件,包括用户名。

hubspot通知AB测试的变体B

对于Variant C,HubSpot将用户发送在应用程序通知中。

Hubspot通知AB测试的变体C

最终,这两种电子邮件都表现出类似地并超越了应用程序内通知。大约25%的用户打开电子邮件留下了审查,而是在应用程序内通知的10.3%。电子邮件也更频繁地由用户开放。

立即开始A / B测试

A / B测试允许您到达您的观众希望看到的内容和营销的真实性。18新利在线下载了解如何最好地使用下面的免费电子书进行上面的一些步骤。

编者注:这篇文章最初发布于2016年5月,并已更新全面。

终极A/B测试套件

最初发布于8月24日,2021年2月2:00:00,Updationed 8021年8月24日

话题:

A / B测试