未拟定假设的A/B测试注定是失败的
原文 http://www.infoq.com/cn/news/2015/02/ab-test-destined-to-fail
如果要进行一次旅行，那么首先应该知道目的地。A/B测试也是如此。来自 CROmetrics 的网页转化率优化顾问 Brian Schmitt 曾经说过这样一句话：
如果你不能说明执行测试的原因，那么你很可能需要检查下，为什么测试及测试什么。
Shana Rusonis 是A/B测试服务公司 Optimizely 的一名内容营销人员。她持同样的观点，认为拟定假设是执行测试的一个必备步骤。近日，她发表了一篇 博文 ，探讨了假设定义、假设在测试流程中的位置以及充分假设的意义等几个方面的问题。
按照她的说法，假设是测试执行前的预测，它清楚地描述了下列问题：
- 什么发生了改变？
- 预期会产生什么结果？
- 为什么会有这种预期？
而执行测试就是对假设的证明或反驳。
对应上述问题，假设由三部分组成，遵循“如果____，那么____，因为____。”这样一种模式。下面是假设的三个要素，测试人员应该在构建并开始测试之前研究拟定并形成文档记录：
- 变量——网站或移动应用上的一个元素，修改、添加或移除会产生预期的结果。网站或应用分析可以帮助测试人员确定网站中性能低下的页面，告诉他们应该从哪里寻找需要改变的元素。
- 结果——就是预期结果，可能更多的体现在网页转化率、按钮点击次数或者测试人员试图影响的其它KPI或指标上。在测试之前，应该根据基准指标确定理想的结果。
- 理由——证明假设是经过研究拟定的，说明为什么要进行这项测试以及通过测试可以了解什么。测试人员可以通过调查问卷、热图、用户测试等 定性工具 确定用户与网站或应用的交互行为。
然而，Shana指出，经过充分研究后拟定的假设并不能保证测试的成功。它只能保证一次学习机会。但即使测试结果证明前期的假设不正确，测试人员仍然可以从中知道这种改变并不适合他们的网站或应用。这样，他们就可以继续拟定新的假设，并找到适合自己的最佳方案。这里有一个小技巧，就是：
用文档记录研究过程和假设。在团队内发布测试结果时，记得连同关键测试指标一起分享假设。测试假设库在未来的测试中将成为非常有价值的参考。
此外，Shana还结合Optimizely优化负责人 Kyle Rush 的测试流程介绍了假设在其中的位置。该流程包括如下八个步骤：
- 识别目标和关键指标；
- 拟定假设；
- 根据样本数量评估测试持续时间；
- 根据预计ROI排定测试优先级；
- 测试质量保证；
- 启动测试；
- 记录和分享结果；
- 考虑重新测试。
对于以上步骤，Shana认为，步骤1和4同假设一样重要。同时，她还特别指出，不是所有的假设都是同等重要的。团队可能会有一个有趣的想法，或者可能会有不同意见，但那不一定就是最需要测试的事情。 优先级排序和测试 应该针对网站或应用中对业务的潜在影响比较大的部分进行。测试人员可以通过分析确定这些部分，然后重点拟定假设，为改进它们提供支持。