AB测试为什么总做错？那些年翻车的实验案例

摘要：AB测试的道理人人都懂，做错的姿势千奇百怪。本文不重复教科书流程，专讲实操里最容易翻车的坑，帮你的实验少走弯路。

AB测试，就是把用户随机分成两组，一组看原方案A，一组看新方案B，用数据判断哪个好。听起来像小学数学，实际操作里，90%的实验都在某个环节悄悄做错了。

翻车一：样本量没算就开跑

最常见的错误。上线半天，B组转化率5.2%，A组4.9%，B组赢了，赶紧全量。等一下：这0.3个点的差异，可能纯粹是随机波动。

判断差异是真实还是噪音，需要事先估算最小样本量。转化率基数越低、想要检测的差异越小，需要的样本就越多。没有样本量概念的实验，等于掷硬币看手气。

数据差异不等于显著差异，看懂置信度再下结论。

新详情页把主图换了、文案改了、价格调了、赠品加了，测出来转化率涨了，请问功劳归谁？这种实验什么都证明了，也什么都没证明。

正确做法是控制变量：一次只测一个改动。想测的东西多，就排好优先级，按周期逐个来。急躁是实验设计的大敌。

新版本上线，用户因为"看着不一样"多点了几天，数据好看。两周后新鲜感消退，数据回落到原点甚至更低。这叫新奇效应。

对策是拉长观察周期，重点看稳定后的数据，别被前几天的曲线骗了。涉及长期行为（如留存、复购）的实验，观察期要以周为单位。

把新用户分到B组、老用户留在A组，或者白天跑A晚上跑B，人群结构根本不同，测出来的差异和方案无关。分组必须在用户层面随机，且同期并行。

B组整体转化率高，但拆开发现：新用户转化涨了，老用户转化跌了。均值掩盖了结构问题。方案B可能适合拉新，却在伤害老客。实验结论要分层看：新客、老客、不同渠道、不同设备。

一个平均数，能藏住一整个真相。

军规一：先写假设再开实验。预计改动会影响哪个指标、影响多少，写下来。没假设的实验是钓鱼执法，什么结果都能自圆其说。

军规二：定好停机条件。跑多久、多大样本、指标涨跌多少算成功，实验开始前白纸黑字。中途随意叫停或延长，实验就废了。

军规三：负结果也是结果。实验证明新方案不行，同样是产出。最贵的是那些"测了个寂寞"的实验：没假设、没记录、结论全靠印象。

AB测试工具现在非常普及，从大厂自研到第三方平台都有。工具解决的是执行问题，实验设计的功力还得靠自己练。小团队建议从转化路径上的关键页面开始测，一次一个点，半年就能攒出自己的一套经验。