为了解决这个问题,我们可以探索多种可用的工具和测试类型。从根本上讲, 测试是检验我们假设的好方法。
在 测试中,当用户使用 产品时,他们要么进入原始体验(也称为“控制”),要么进入我们根据假设做出更改的实验体验(“挑战”)。我们需要定义我们想要在实验中测试的主要目标。
目标可以很简单,比如增加网站某个区域的点 求职者数据 击量或增加表单提交量。一旦我们收集了足够的用户行为数据,我们就能知道哪个版本的表现优于另一个版本。
除了 产品套件外,我们还可以使用“优化”来设置 测试。 测试是 附带的工具。
测试图
图片说明:在 测试中,我们可以将 的流量分成 给“控制组”和“挑战组”
有两个因素在确定“控制”或“挑战”体验是否对用户更好方面起着至关重要的作用,它们是样本量和统计意义。
样本量是分析中的一个子组,它代表了您将在整个组中看到的行为类型。统计显著性是指结果不是偶然造成的可能性。如果一个体验有 的机会表现优于另一个体验,那么可以肯定地说,我们有一个统计显著的结果。换句话说,您仍然有 的机会可能出错。
测试还需要运行足够长的时间,以便收集到能够确认统计显著结果的样本量。