多元多变量测试 VS A/B测试各有什么作用？

老梦の / 2018年5月17日

设计理论 1162 3 0

多元多变量和A/B测试到底该如何使用，其实一直希望有一个简单的介绍，今天分享的这篇《多元多变量测试 VS A/B测试各有什么作用？》将会帮助你很好的了解这些方法论，无论你的产品用户量大还是小，都能找到一个测试方法，减少重复工作让你的工作更顺利，肯定值得你阅读。

结束猜想的工作方式吧？你需要开始利用多维测试和A/B测试了，你要知道市场有时候真的很想魔法，特别是它在做消费转化的时候，增加销量，增加点击和注册的时候回更加神奇。但是，与你想象的不一样，其实这是一门学科。要取得市场成功，一般有许多能改变的因数，测试就是其中一个。测试是设计和运营的关键要素，它可以帮助他们做产品设计决策并提供反馈信息，我们可以利用这些反馈信息进行产品优化迭代，从而实现整体业务目标。如果没有测试这个环节，很多东西你就只能靠猜测，如果你想真正解决问题，那么你必须要有最够的信息才行。在用户体验设计的世界里，涉及到测试的两个术语是：A / B测试和多变量测试。在整个这篇文章中，Justinmind将探索这两种测试策略，这样您的决策会更具权威性。

什么是A/B测试？

A/B 测试就是拿出两个不同变量的方案，同时发布后测试，看看那个数据更好。变量可以是任何细微改变，如：间距、按钮颜色和布局的位置。通常情况下，您会希望测试同一件事物的两种不同版本。带有两个不同banner大图的着陆页，电子邮件中的两个主题行或两个不同颜色的购买按钮等。如果测试多个变量，则A / B测试无法高效工作。我们将介绍如何尽快完成。假设你有一个主页，并且它不会像你想的那样好。你用过热图之类的工具，发现人们鼠标悬停在按钮或行动按钮上，但是不点击，这种感觉是不是很差？为了改变这种情况，你决定设计一个新的方案来测试效果，您可以使用A / B测试，来了解哪些方法可行，而不是凭感觉。其实很简单，就是给2批不同的人两套不同的设计方案，如果一个转化率明显好于另外一种，那么你就找到了答案。你是怎么知道在这种情况下，哪个表现更好？哪个点击更高呢？

A / B测试的常见用途

A / B测试是一种相对便宜的研究方法，因此它是一种流行方式，可用于找出评估您的网站或移动应用设计好坏的关键信息。 A / B测试可以帮助您验证您的任何假设。如果您的“购买”按钮为绿色，但是你阅读了一篇关于红色按钮更容易激发购买的文章，那么你可以在您自己的受众群体上测试该假设。对A / B测试感到好奇的是，你最终可能会看到违反直觉的信息。拿Vendio来说，去掉注册表后，其签名增加了60％。支付你的假设来测试是值得的。

进行一个有效的A/B 测试你经常要做的事情：

测试网站或APP的版本 Test versions of a website
标题 Headlines
行动按钮（购买按钮）Call to action buttons
整个产品的图形图像 Graphic imagery used throughout your product
销售相关说明 Sales copy and descriptions
页面结构 Page structure
表格（形式）Forms
落地页 Landing pages
导航 Navigation
价格Pricing

为什么你需要给你的设计做个A/B testing？

现在我们知道为什么A/B测试是商业和设计的一个好实践。但是开展自己的A/B测试到底有什好处呢？看看以下重要原因： A/B测试可以帮助你做决定，如果您是一名设计师，而且您正在和一个内容团队（或者是产品技术团队）合作，你们对设计元素布局有不同看法，那么A/B测试将为你们快速解决分歧，也许你正在思考到底是弹窗广告好还是列表中插入的广告效果好，你可以通过A/B测试找到有力证据。 A/B测试成本极低。在优化用户体验上面，你只是测试不同替代方案。把它们扔到你的服务器上，使用Optimizely或Crazy Egg等软件，然后你就完成了。易于实施，具有成本效益和可操作性的有点 – 你有什么理由不爱呢？ A/B测试可让您深入了解用户行为。 A / B测试是衡量用户行为的核心。如果您运行测试，并且发现设计A比设计B的性能好得多，那么您可以放心地使用设计A方案，因为您的决定是有证据支持的。

什么时候使用A/B测试最合适？

A/B测试的关键在于用它测试衡量事物有一个明确的目标和标准。雅各布尼尔森建议，可衡量的点包括：

电商网站的销量 Sales for an ecommerce site
电子邮件订阅数 Users subscribing to an email newsletter
网银在线开通量Users opening an online banking account
用户下载量 Users downloading a whitepaper

A /B测试的一个重大缺点是，如果用户样本量不够，数据将没有意义。

当然，像亚马逊这样的公司可以在他们的主页上执行数百次A/B测试并获得实际结果。但是，例如一个小的面包店网站呢？ A/B测试如何帮助他们？它确实会但很难实现强大的样本量，不过，谢天谢地，还是有一些方法的。您需要时间做A/B测试。这样的计算器可以真正缩短你做A/B测试的时间。每天有250位独立访问者的小公司希望将转化率提高10％，至少需要162天才能看到显着的结果。初创公司通常时间紧，让他们等待近200天是不可能的。 A/B测试的另一个问题是，如果您没有正确定义您的目标群体，或者您处于产品的早期阶段，那么您可能对客户了解不多。如果你不确定他们是谁（只是尝试创建一些用户角色），那么你最终可能会产生误导性的结果。

交互原型和测试

测试不一定要等到上线。事实上，您可以使用Justinmind实时验证不同的设计理念。如果您在设计原型的阶段就开始做测试，从长远来看，这将大大节约时间减少返工。

什么是多元（多变量）测试？

现在我们引入另一种测试方法：多变量测试。它是什么？这有点像A/B测试，但更复杂一点。尽管A / B测试被用来一次测试一个变量的假设，但是多变量测试被用来测试被修改的多个变量的假设。这样做是为了揭示哪些变量组合在所有可能的组合中表现最好。为了简化：多变量测试会改变多个变量（例如，较长的版本和一个巨无霸广告图像与两个图像和简短的版本）并找出哪一个出来效果更好。多元测试可以以与A / B测试相同的方式使用，但可以更全面，因为它会发现实现您的目标的理想组合。不是测试一个变量，而是在一个页面上测试多个变量。多变量测试最明显的好处是您可以更好地了解页面上的哪些元素，现在或未来真正有用。

我应该使用多元测试，还是A/B 测试呢？

您可能会问自己是否应该使用A / B测试或多变量测试。好问题。答案？这取决于你的需求，如果你想要快速获取有意义的结果，那么A / B测试将是你最好的选择。 A / B测试非常有效地告诉你哪两个变量你应该做。现在，如果您的网站有很多流量（需要大量流量才能有效使多变量测试），那么多元测试可能会提供更多用途。一般来说，A / B测试需要进行大的修改，而多元测试则用于小优化。

什么时候做多元测试？

如前所述，多变量测试适用于测试页面上较小的元素。多变量测试的其他常见用途包括：

在网站上测试文字和图像Testing both text and imagery on a website
测试“购买按钮”上的文字和色彩 Testing both the text and color of CTA buttons
测试输入框和行动按钮的数量 Testing the number of input fields and CTAs together

多元测试有什么缺点呢？

多元测试很复杂，最好由经验很丰富的人来完成。做这个测试的时候流量的大小问题要考虑。通过A / B测试，您可以简单地进行50/50分割以测试某些内容，但对于多变量测试，您需要将流量分为四分之一，六分之八，八分之一以及更多。如果没有较大的流量，这可能很难实现。

A/B测试和多元测试的资源与工具：

网上有大量的资源，您可以使用它来开始A / B和多变量测试，并改进您的测试过程。为了完善这篇文章，这里有一些我们的珍藏：

Optimizely — 用户体验优化平台Customer experience optimization platform.
Crazy Egg —热图可以告诉你用户在光标处悬停的位置 Heat maps can tell you where your users are hovering with their cursor.
Google Analytics — 网站分析深入了解 Web analytics for deep insights.
Adobe Target —实时测试组合并找到最优的答案 Test combinations in real time and find the winning answer.
Kissmetrics —行为和参与分析平台Behavior and engagement analytics platform.
UserVoice —获取反馈以影响产品路线图 Get feedback to influence product roadmaps.
Kampyle —用户心声平台 Voice of customer platform.
HotJar —热点地图，访客录制和转换渠道 Heatmaps, visitor recordings and conversion funnels.
Zopim — 在线聊天与客户互动 Live chat to engage with customers.