这可能不是你第一次读到A/B测试。关于A/B测试结果的文章被广泛分享。见鬼，你可能已经对你的电子邮件主题行或社交媒体帖子进行了A/B测试。
尽管有很多关于A/B测试的说法，很多许多市ob欧宝娱乐app下载地址场营销人员仍然弄错了。结果呢?人们根据不正确的测试得出的不准确的结果做出重大的商业决策。
问题在于，A/B测试通常过于简化，尤其是在为商店所有者编写的内容中。
解决方案?以下是你开始进行电子商务A/B测试所需要知道的一切，并尽可能简单地进行解释。OB欧宝娱乐APP
目录表
- 什么是A/B测试?
- A/B测试是如何工作的
- 什么是A/B/n测试?
- A/B测试应该运行多长时间?
- 为什么要进行A/B测试?
- 优先考虑A/B测试想法
- A/B测试统计速成班
- 如何设置A/B测试
- 如何分析A/B测试结果
- 如何存档过去的A/B测试
- 专业人士的A/B测试过程
什么是A/B测试?
A/B测试，有时被称为分割测试，是比较同一网页的两个版本，以确定哪个版本表现更好的过程。
这个过程可以让你回答重要的商业问题，帮助你产生更多的收入你已经拥有的流量，并为基于数据的营销策略奠定基础。ob欧宝娱乐app下载地址
A/B测试是如何工作的
你将向50%的访问者展示版本A(我们称其为“控制”)，向50%的访问者展示版本B(我们称其为“变体”)。
结果最高的网页版本转化率赢了。例如，假设变体(版本B)产生了最高的转化率。然后你会宣布它是赢家，并将100%的访问者推送到该变体。
然后，变体成为新的控件，您必须设计一个新的变体。
值得一提的是，转化率并不是衡量成功的完美标准。为什么?你可以通过让商店里的所有东西都免费来提高转化率。当然，这是一个糟糕的商业决策。
这就是为什么你应该一直追踪转换的价值，直到收银机的铃声响起。
什么是A/B/n测试?
使用A/B/n测试，您可以针对控件测试多个变体。所以，与其让50%的访问者看到对照组，50%的访问者看到变体，不如让25%的访问者看到对照组，25%的访问者看到第一种变体，25%的访问者看到第二种变体，25%的访问者看到第三种变体。
注意:这与多变量测试不同，多变量测试也涉及多个变量。在运行多变量测试时，您不仅要测试多个变量，还要测试多个元素。目标是找出哪种组合效果最好。
你需要很多的交通运行多变量测试，所以现在可以忽略它们。
A/B测试应该运行多长时间?
运行你的A/B测试至少一个，但最好是两个，完整的商业周期。不要因为你达到了重要的程度就停止你的测试。你还需要达到你预定的样本量。最后，不要忘记以完整的周为增量运行所有测试。
为什么是两个完整的商业周期?首先:OB欧宝娱乐APP
- 你可以考虑“我需要考虑一下”的买家。
- 你可以考虑所有不同的流量来源(Facebook，电子邮件通讯，自然搜索等)。
- 你可以解释异常情况。例如，你周五的电子邮件简报。
如果你使用过任何类型的A/B测试工具，你可能对绿色的“统计显著性”图标很熟悉。
不幸的是，对许多人来说，这是“考试已经准备好了，快叫吧”的普遍信号。你会在统计学速成课上学到更多，统计显著性不是停止规则。仅仅因为它已经达到了并不意味着你应该停止测试。
那你预定的样本量呢?这并不像看起来那么吓人。打开一个样本大小计算器，比如这张来自埃文·米勒。
这个计算是说，如果你当前的转化率是5%，而你希望能够检测到15%的效果，你需要一个13,533的样本每一个变化。所以，如果这是一个标准的a /B测试，那么总共需要超过25000名访问者。
如果你想检测一个较小的效果，看看会发生什么:
唯一改变的是最小可检测效应(MDE)。从15%下降到8%。在本例中，您需要47,127的样本每一个变化。所以，如果这是一个标准的a /B测试，那么总共需要近10万名访问者。
你的样本量应该在测试开始前预先计算好。OB欧宝娱乐APP您的测试不能停止，即使它达到了显著性，直到达到预定的样本量。如果是，测试就无效。
这就是为什么你不能漫无目的地遵循最佳实践，比如“100次转换后停止”。
以整个星期为增量运行测试也很重要。你的流量可以根据一周中的一天和一天中的时间而变化，所以你要确保包括一周中的每一天。
为什么要进行A/B测试?
比如说你花100美元在Facebook上做广告把十个人送到你的网站。你的平均订单价值是25美元。其中8名游客没有买任何东西就离开了，另外两名游客每人花了25美元。结果呢?你损失了50美元。
现在假设你在Facebook广告上花了100美元，让10个人访问你的网站。你的平均订单价值仍然是25美元。不过，这一次，只有5名游客没有买任何东西就离开了，其他5人每人花了25美元。结果呢?你赚了25美元。
当然，这是一个简化的例子。但是通过提高网站的转化率，你创造了相同的交通更有价值。
A/B测试还可以帮助你发现洞察力，无论你的测试是成功还是失败。这个价值是很容易转移的。例如，从产品描述a /B测试中获得的文案洞察力可以帮助你了解价值主张和其他产品说明。
你也不能忽视专注于持续提高商店效率的内在价值。
你是否应该进行A/B测试?
不一定。如果你是一个低流量站点，那么a /B测试可能并不是最适合你的优化方法。例如，通过进行用户测试或与客户交谈，您可能会看到更高的投资回报(ROI)。
尽管人们普遍认为，转化率优化并不是从测试开始和结束的。
考虑上面的样本大小计算器中的数字。47127名游客每一个变化来检测8%的效应基准转换利率是5%。假设你想测试a产品页面。你的产品页面是否在两到四周内获得了近10万的访问量?
举起。为什么是两到四周?请记住，我们希望在至少两个完整的业务周期内运行测试。通常情况下，这需要两到四周的时间。现在你可能在想，“没问题，Shanelle，我将进行超过两到四周的测试，以达到所需的样本量。”这也行不通。
你看，测试运行的时间越长，就越容易受到外部有效性威胁和样本污染的影响。例如，访问者可能会删除他们的cookie，最终以新访问者的身份重新进入A/B测试。或者有人可以从手机切换到桌面，看到另一种变化。
从本质上讲，让测试运行太长时间也不是一种选择。
TL;博士:对于能够在两到四周内满足样本量要求的商店来说，测试是值得投资的。在流量增加之前，不能考虑其他形式的优化。
Shopify的数据科学家Julia Starostenko对此表示赞同，她解释道:
Julia Starostenko, Shopify
“实验很有趣!但重要的是要确保结果是准确的。
问问你自己:你的用户是否足够多?你收集到足够的数据了吗?为了获得真正的统计意义(在合理的时间范围内)，用户规模需要足够大。”
你应该做什么A/B测试?
我无法告诉你应该做什么A/B测试。我知道，我知道。如果我现在能给你一份99项测试的清单，你的生活肯定会轻松一些。为了获得点击量，愿意这么做的营销人员比比皆是。ob欧宝娱乐app下载地址
事实上，唯一值得运行的测试是基于您自己的数据的测试。我无法访问你的数据，你的客户等，任何人也无法管理这些庞大的A/B测试想法列表。没有人能有意义的告诉你要测试什么。
唯一值得运行的测试是基于您自己的数据的测试。
相反，我鼓励你通过定性和定量分析来回答这个问题。这可能意味着:
- 技术分析:你的商店在每个浏览器上都能正确快速地加载吗?在每个设备上?你可能有一部闪亮的新iPhone X，但在某个地方，有人还在拿着2005年的摩托罗拉Razr。如果你的网站不能正常和快速地工作，那么它肯定不能很好地转换。
- 现场调查:当您的商店的访客浏览时，这些弹出。例如，一个现场调查可能会询问在同一页面上停留了一段时间的访问者，是否有什么东西阻碍了他们今天的购买。如果有，是什么?你可以使用这些定性数据来提高你的文案和转化率。
- 客户访谈:没有什么能代替打电话和客户交谈。为什么他们选择你的商店而不是竞争对手的商店?当他们到达你的网站时，他们试图解决什么问题?你可以问成千上万的问题来了解你的客户是谁为什么他们真的从你这里买。
- 客户调查:客户调查是针对已经购买过商品的人而不是访客的全面调查。当设计一个调查时，你要关注:定义你的客户，定义他们的问题，定义他们在购买之前的犹豫，以及识别他们用来描述你的商店的单词和短语。
- 分析分析:你的分析工具是否正确地跟踪和报告你的数据?这可能听起来很傻，但您会惊讶于有多少分析工具配置不正确。分析分析就是深入你的分析，分析访问者的行为。例如，您可能会关注漏斗。哪里漏水了?换句话说，大多数人会从你的漏斗中退出?这是开始测试的好地方。OB欧宝娱乐APP
- 用户测试:在这里，您可以看到真人尝试在您的网站上执行任务。例如，你可以让他们找到一款价格在40-60美元之间的电子游戏，并将其添加到购物车中。当他们执行任务时，他们会大声说出自己的想法和行动。
- 会话回放:会话回放类似于用户测试，但现在你要处理的是真实的人与真正的钱和真实购买意向。你会看到你的实际访问者浏览你的网站。他们找不到什么?他们在哪里感到沮丧?他们在哪里看起来很困惑?
还有其他类型的研究，但这七种方法是一个很好的起点。OB欧宝娱乐APP如果你浏览了其中的一些，你就会有一长串值得测试的基于数据的想法。我保证你的清单将带给你比任何“99个现在要测试的东西”的文章都更有价值。
优先考虑A/B测试的想法
大量的A/B测试想法固然令人兴奋，但对于决定测试什么并没有多大帮助。你从哪里开始?OB欧宝娱乐APP这就是优先级的作用。
你可以使用一些常见的优先级框架:
- 冰:ICE代表影响，信心和轻松。这些因素中的每一个都有1-10的排名。例如，如果您可以在没有开发人员或设计人员的帮助下轻松地自己运行测试，那么您可能会给Ease打8分。你在这里使用你的判断，如果你有不止一个人进行测试，排名可能会变得过于主观。有一套指导方针来指导每个人实现客观性是有帮助的。
- 派:PIE代表潜力、重要性和易用性。同样，每个因素的排名为1-10。例如，如果测试将达到您的流量的90%，您可能会给重要性8。PIE和ICE一样具有主观性，因此指导方针也可以对该框架有所帮助。
- PXL:PXL是来自CXL的优先级框架。它有点不同，更可定制，迫使玩家做出更客观的决定。你会发现不是三个因素，而是一个是/否问题和一个容易实现的问题。例如，框架可能会问:“这个测试是为了增加动机而设计的吗?”如果是，则得到1。如果不是，它得到0。您可以了解更多关于这个框架和在此下载电子表格。
现在你对从哪里开始有了一个想法，但它也可以帮助你对你的想法进行分类OB欧宝娱乐APP。例如，在我最近做的一些转换研究中，我使用了三个类别:实现、调查和测试。
- 实现:只管去做。它是坏的或明显的。
- 调查:需要额外的思考来定义问题或缩小解决方案。
- 测试:这个想法是合理的，有数据依据的。测试它!
在这个分类和优先级之间，你是固定的。
A/B测试统计速成班
在运行测试之前，深入研究统计数据是很重要的。我知道，统计学通常不受欢迎，但把它想象成你不情愿毕业的必修课。
统计数据是a /B测试的重要组成部分。幸运的是，测试工具使优化器的工作变得更加容易，但是对幕后发生的事情的基本理解对于稍后分析测试结果至关重要。
Alex Birkett，成长营销经理ob欧宝娱乐app下载地址HubSpot的解释:
Alex Birkett, HubSpot
“统计数据不是转换的神奇数字，也不是二元的‘成功’!或“失败”之类的东西。这是一个在不确定的情况下做出决策的过程，通过试图减少给定决策结果的模糊性来降低风险。
考虑到这一点，我认为最重要的是了解基础知识:什么是均值、方差、抽样、标准差、回归均值，以及什么构成了“代表性”样本。此外，当你开始进行A/B测试时，设置一些特定的护栏可以帮助你尽可能地OB欧宝娱乐APP减少人为错误。”
意思是什么?
Mean是平均值。你的目标是找到一个能代表整体的平均值。
例如，假设你想找出电子游戏的平均价格。你不会把世界上所有电子游戏的价格相加然后除以世界上所有电子游戏的数量。相反，您将分离出一个小样本代表世界上所有的电子游戏中。
你最终可能会发现几百个电子游戏的平均价格。如果你选择了一个具有代表性的样本，那么这200款电子游戏的平均价格应该能够代表世界上所有的电子游戏。
什么是方差?
方差是平均可变性。从本质上讲，变异性越高，平均值在预测单个数据点时就越不准确。
那么，每个电子游戏的平均价格和实际价格有多接近呢?
什么是抽样?
样本量越大，变异性越小，这意味着平均值更可能是准确的。
如果样本从200个视频游戏增加到2000个，方差会更小，均值会更精确。
什么是统计显著性?
假设A和B之间没有区别，你有多少次会偶然看到这种效果?
统计显著性水平越低，获胜变异根本不是赢家的可能性就越大。
简单地说，低显著性水平意味着你的“赢家”很有可能不是真正的赢家(这被称为假阳性)。
请注意，大多数A/B测试工具调用统计显著性，而不是等待预先确定的样本大小或时间点。这就是为什么你可能会注意到你的测试在统计显著和统计不显著之间来回切换。
Peep Laja，创始人CXL研究所，希望更多的人真的理解统计意义及其重要性:
我是CXL研究所的佩普·拉贾
“统计显著性不等于有效性，这不是一个停止的规则。当你达到95%或更高的统计显著性时，在满足另外两个更重要的条件之前，这意味着很少:
1.有足够的样本量，你可以用样本量计算器算出来。也就是说，有足够多的人参与了这个实验，所以我们可以得出任何结论。
2.测试已经运行了足够长的时间，因此样本具有代表性(并且不会太长而无法避免)样品污染）.在大多数情况下，你需要进行2、3或4周的测试，这取决于你能多快获得所需的样本。”
什么是回归均值?
你可能会在A/B测试开始时注意到极端的波动。
回归均值是一种现象，如果某物在第一次测量中是极端的，那么在第二次测量中它可能更接近平均值。
如果您调用测试的唯一原因是因为它达到了统计显著性，那么您可能会看到假阳性。随着时间的推移，你的成功变异可能会回归到平均值。
什么是统计能力?
假设a和B之间存在差异，你多久能看到一次效果?
权力级别越低，赢家被忽视的可能性就越大。权力级别越高，赢家被忽视的机会就越低。实际上，你只需要知道80%的统计能力是大多数A/B测试工具的标准。
Ton Wesseling，创始人在线对话不过，他希望更多的人了解统计能力:
tonwesseling，在线对话
“很多人担心误报。我们更担心假阴性。为什么要进行这样的实验呢?在这种情况下，找到证据证明你的积极改变会产生影响的可能性真的很低……”
什么是外部有效性威胁?
有一些外部因素会威胁到你测试的有效性。例如:
- 黑色星期五网络星期一销售。
- 正面或负面的媒体报道。
- 一个大型付费活动的启动。
- 一周中的一天。
- 变化的季节。
例如，假设您要在12月运行一个测试。主要购物假期这意味着你的商店在那个月的客流量会增加。你可能会在1月份发现，12月份的赢家表现不再好。
为什么?
因为一个外部的有效性威胁:假期。
你的测试决定所依据的数据是异常的。当事情在一月份稳定下来时，你可能会惊讶地发现你的赢家输了。
你无法消除外部有效性威胁，但你可以通过连续几周运行测试来缓解它们(例如，不要在周一开始测试，而在周五结束测试)，包括不同类型的流量(例如，不要只测试付费流量，然后将结果推广到每个流量源)，并注意潜在的威胁。OB欧宝娱乐APP
如果您碰巧在繁忙的购物季节运行测试，比如BFCM，或者遇到主要的外部有效性威胁，你会发现这篇文章很有帮助。
如何设置A/B测试
测试前任何东西，你需要有一个可靠的假设。(太好了，我们刚上完数学课，现在开始上科学课。)
别担心，这并不复杂。基本上，你需要测试一个假设，而不是一个想法。假设是可衡量的，渴望解决特定的转换问题，关注洞察力而不是胜利。
你需要对假设进行A/B测试，而不是想法。
每当我写假设的时候，我都会借用一个公式克雷格·沙利文的假说工具包：
- 因为我看到[从研究中插入数据/反馈]
- 我希望[你正在测试的改变]会产生[你所预期的影响]
- 我将使用[数据度量]来衡量这一点
容易,对吧?你所要做的就是填空，然后你的测试想法就变成了假设。
选择A/B测试工具
现在你可以开始选择A/BOB欧宝娱乐APP测试工具了。通常，你会想到谷歌优化，优化和VWO第一。
这些都是好的、安全的选择。
- 谷歌优化:免费保存一些多变量限制，如果您刚刚开始，它应该不会真正影响您。OB欧宝娱乐APP与谷歌分析密切合作，这是一个加分项。
- 优化:即使没有技术技能，也很容易启动和运行小测试。数据引擎使分析测试结果更容易。通常，Optimizely是三个选项中最昂贵的。
- VWO:VWO已经SmartStats使分析更容易。此外，他们为初学者提供了一个很棒的所见即所得编辑器。每个VWO计划都配有热图，现场调查，表单分析等。
我们也有一些测试工具Shopify应用商店你可能会觉得有用。
一旦你选择了一个工具，只需注册并按照提供的说明操作。该过程因工具而异。但是，通常情况下，您会被要求在您的站点上安装一个代码片段并设置目标。
如何分析A/B测试结果
还记得我说过写假设会把重点从胜利转移到见解上吗?Krista Seiden，分析倡导者和产品经理谷歌解释了这意味着什么:
Krista Seiden，谷歌
“A/B测试最容易被忽视的方面是向失败者学习。事实上，在我运行的优化程序中，我养成了发布“失败报告”的习惯，在报告中我会列出本季度最大的失败案例，以及我们从中吸取的教训。
我一直以来最喜欢的一个片段来自一个筹备了几个月的竞选活动。我们能够在新活动登陆页面即将上线前偷偷地进行A/B测试，这是件好事，因为它失败得很惨。如果我们真的发布了这个页面，我们的底线就会受到重大打击。我们不仅最终为公司节省了大量资金，而且我们能够深入研究并做出一些假设(我们后来进行了测试)为什么新页面表现如此之差，这使我们成为更好的营销人员，并在未来的活动中取得更大的成功。”ob欧宝娱乐app下载地址
如果你的假设是正确的，即使是输家也会成为赢家，因为你将获得可以用于未来测试和其他业务领域的见解。所以，当你分析你的测试结果时，你需要关注的是洞察力，而不是测试是赢还是输。总有东西要学，总有东西要分析。不要轻视失败者!
如果你的假设是正确的，即使是失败者也是赢家。
这里需要注意的最重要的事情是分割的必要性。一个测试可能在整体上是失败的，但它有可能至少在一个部分表现良好。我说的分段是什么意思?
- 新访客。
- 返回的游客。
- iOS游客。
- Android的游客。
- Chrome的游客。
- Safari游客。
- 桌面的游客。
- 平板电脑的游客。
- 自然搜索访问者。
- 游客支付。
- 社交媒体访问者。
- 已登录的买家。
你懂的，对吧?
当您在测试工具中查看结果时，您正在查看整个Smarties包。你需要做的是把Smarties按颜色分开，这样你就可以最后吃红色的了。我的意思是，这样你就可以发现更深层次的，分段的见解。
有可能这个假设在某些部分被证明是正确的。这也告诉了你一些事情。
TL;博士:分析不仅仅是关于考试是赢家还是输家。专注于洞察和细分你的数据，以发现隐藏在表面之下的洞察。
A/B测试工具不会为你做分析，所以这是一项需要长期培养的重要技能。
如何存档过去的A/B测试
假设你明天进行第一次测试。两年后的明天，你还会记得明天考试的细节吗?不太可能。
这就是为什么存档你的A/B测试结果很重要。如果没有一个维护良好的档案，你所获得的所有见解将会丢失。另外，我不骗你，如果你不存档，很容易对同一个东西进行两次测试。
然而，没有“正确”的方法来做到这一点。你可以用这样的工具项目或有效的实验，或者你也可以用Excel。这完全取决于你自己，尤其是当你刚刚开始的时候。OB欧宝娱乐APP只要确保你记录了:
- 假设。
- 控制和变化的屏幕截图。
- 无论是赢还是输。
- 通过分析获得的见解。
长大后，你会感谢自己保存了这些档案。这不仅对你有帮助，对新员工、顾问/利益相关者也有帮助。
A/B测试过程的优点
现在你已经通过了标准的a /B测试流程，让我们来看看像Google和HubSpot这样的公司的专业人员的确切流程。
Krista Seiden，谷歌
我的A/B测试一步一步地从分析开始——在我看来，这是任何优秀测试程序的核心。OB欧宝娱乐APP在分析阶段，目标是分析你的分析数据、调查或用户体验数据，或任何其他你可能拥有的客户洞察来源，以便了解你的优化机会在哪里。
一旦您从分析阶段获得了良好的想法管道，您就可以继续假设可能出现的问题，以及如何潜在地修复或改进这些优化领域。
接下来，是时候构建并运行测试了。一定要运行一段合理的时间(我默认为两周，以确保我考虑到每周的变化或异常情况)，当你有足够的数据时，分析你的结果来决定你的赢家。
在这个阶段花点时间分析输家也很重要——你能从这些变化中学到什么?
最后，只有当您花时间为一个可靠的优化程序奠定基础时，您才可能到达这个阶段，是时候研究一下了个性化。这并不一定需要一个花哨的工具集，而是可以从您拥有的关于用户的数据中得到。
个性化可以简单到将正确的内容定位到正确的位置，也可以复杂到根据个人用户的行为进行定位。不过，不要一下子就投入到个性化设计中，要确保你先花足够的时间把基本的东西做好。
Alex Birkett, HubSpot
在高层次上，我试着遵循这个过程:
- 收集数据并确保分析实现的准确性。
- 分析数据并找到见解。
- 将洞察力转化为假设。
- 根据影响和容易程度进行优先排序，并最大化分配资源(特别是技术资源)。
- 运行测试(尽我所知和能力遵循统计最佳实践)。
- 分析结果并根据结果执行或不执行。
- 基于发现进行迭代并重复。
更简单地说:研究、测试、分析、重复。
虽然此过程可能会根据上下文(我是否在测试业务关键型产品功能?一篇博客文章CTA?创新与风险缓解之间的风险状况和平衡是什么?)，这一点非常适用于任何规模或类型的公司。
关键是这个过程是灵活的，但它也收集了足够的数据定性客户反馈和定量分析，能够想出更好的测试想法和更好的优先级，以避免浪费交通。
tonwesseling，在线对话
当我们想要优化客户旅程时，我们总是回答的第一个问题是:这个产品或服务适合我们在在线对话中创建的ROAR模型吗?你是否仍然处于风险阶段，我们可以做很多研究，但不能通过在线实验验证我们的发现(每月低于1000次的转化)，或者你是否处于优化阶段?甚至更高?
- R风险阶段:大量的研究，这些研究将转化为从商业模式枢纽到全新设计和价值主张的任何东西。
- O优化阶段:将优化价值主张和商业模式的大型实验。
- O优化阶段:验证用户行为假设的小实验，这将为更大的设计更改建立知识。
- 一个utomation你仍然有实验能力(访客)，这意味着你不需要充分的测试潜力来验证你的用户旅程。剩下的应该用来开发，现在就更快地成长(而不是专注于长期学习)。这可以通过运行强盗/使用算法来实现自动化。
- RE-think:你停止添加大量的研究，除非它是新事物的关键。
所以A/B测试只是《ROAR》优化阶段的一件大事。
我们运行实验的方法是FACT & ACT模型:
我们的研究是基于我们的5V模型:
我们收集所有这些见解来提出一个主要的研究支持的假设，这将导致子假设，这些子假设将根据收集的数据进行优先排序。假设成立的可能性越高，排名就越靠前。
一旦我们知道我们的假设是对还是错，我们就可以开始结合学习，通过重新设计/重新调整客户旅程的更大部分来迈出更大的一步OB欧宝娱乐APP。然而，在某些时候，所有获胜的实现都会导致局部最大值。然后你需要迈出更大的一步才能达到潜在的全球最大值。
当然，主要的学习将在整个公司传播，这将导致基于你验证的第一方见解的各种更广泛的优化和创新。
你是否面向国际受ob欧宝娱乐app下载地址众进行营销?学习如何使这个过程变得简单pseudo-localization。
Julia Starostenko, Shopify
实验的目的是验证对现有网页进行更改将对业务产生积极影响。
在开始之前，确定是否真的有必要OB欧宝娱乐APP进行实验是很重要的。考虑以下场景:有一个点击率极低的按钮。要降低这个按钮的性能几乎是不可能的。因此，验证提议更改按钮的有效性(即运行实验)是不必要的。
同样，如果对按钮的修改建议很小，那么可能不值得花时间设置、执行和拆除一个实验。在这种情况下，应该将更改推出给每个人，并且可以监视按钮的性能。
如果确定进行实验实际上是有益的，那么下一步就是定义应该改进的业务指标(例如，增加按钮的转化率)。然后我们确保适当的数据收集到位。
一旦完成，观众被随机分成两组;一组显示的是按钮的现有版本，而另一组显示的是新版本。对每个受众的转化率进行监测，一旦达到统计显著性，就可以确定实验结果。
我是CXL研究所的佩普·拉贾
A/B测试是更大的转化优化图景的一部分。在我看来，80%是研究，只有20%是测试。转换研究将帮助你决定从什么开始测试。
我的流程通常是这样的(一个简化的总结):
- 使用类似的框架进行转换研究ResearchXL识别您网站上的问题。
- 选择一个高优先级的问题(影响大部分用户的问题，并且是一个严重的问题)，并集思广益，尽可能多地解决这个问题。用你的转化研究见解来告知你的构思过程。确定要在哪个设备上运行测试(需要在桌面和移动设备上分别运行测试)。
- 决定你可以测试多少变化(基于你的流量/交易水平)，然后选择你最好的1-2个想法作为解决方案来测试控制。
- 根据改变的范围，你可能还需要一个设计师来设计新元素。
- 让前端开发人员在测试工具中实现这些处理。建立必要的整合(谷歌分析)，设定适当的目标。
- 在测试中进行QA(失败的测试是目前为止最大的A/B测试杀手)，以确保它适用于所有浏览器/设备组合。
- 启动测试!
- 一旦测试完成了，进行测试后分析。
- 根据结果，要么执行赢家，要么迭代治疗方法，要么去测试其他东西。
轮到你
你有过程，你就有力量!所以，走出去，开始测试你的商店。OB欧宝娱乐APP在你意识到这一点之前，这些见解将为你的银行带来更多的钱。
如果你对你所读的有任何疑问，或者你在阅读过程中遇到了麻烦，请在下面留言。