—关注作者送A/B实验实战工具包在 AB 实验的世界里T 检验就像是厨房里的那把菜刀。它好用、顺手切菜均值、切肉转化率都能干只要食材样本量够多它几乎无所不能。但是当你面对一些**“奇葩食材”**时菜刀就卷刃了场景一土豪捣乱A 组里混进了一个“神豪”充了 100 万其他人只充 10 块。A 组均值瞬间被拉高方差爆炸T 检验告诉你“不显著”。场景二样本太少做 B 端实验一共就 30 个客户。T 检验要求正态分布但这 30 个数据歪七扭八。场景三刁钻指标老板不看均值非要问“A 组的P99 延迟是不是比 B 组好” T 检验两手一摊“我只会算均值。”这时候你需要扔掉菜刀换上更精密的**“特种兵武器”**——非参数检验。它们不关心数据是不是正态的也不在乎数值具体是多少它们用排名、模拟、穷举等“骚操作”来挖掘真相。今天我们就来盘点五位身怀绝技的特种兵。1. 曼-惠特尼 U 检验专治“土豪”的排名大师(Mann-Whitney U Test)它的绝活“我不看你有多少钱我只看你排第几。”痛点T 检验是数值敏感的。A 组有一个人充 100 万均值就被拉偏了。解法U 检验把 A 组和 B 组所有人拉到一起按充值金额从小到大排个序。充 100 万的那位土豪是第 1 名。充 1000 块的那位小资是第 2 名。重点来了在 U 检验眼里第 1 名和第 2 名的差距只是**“1 个身位”**而不是“99 万 9 千块”。效果通过把**“数值”转化为“排名 (Rank)”**土豪夸张的金额优势被瞬间抹平了。如果 A 组的整体排名依然显著高于 B 组那就说明策略真的有效。适用场景GMV、人均时长、打赏金额等极度长尾、含离群值的数据。2. 置换检验暴力破解的模拟大师(Permutation Test)它的绝活“如果我也能蒙出来那你就不是真的。”痛点样本量太小比如 N 20数据分布奇形怪状任何公式算出来的 P 值都不可信。解法它采用了一种**“平行宇宙”**的逻辑现实世界A 组比 B 组高 5%这是观察到的差异。假设如果 A 和 B 真的没区别那这个 5% 纯属运气。模拟既然没区别那我把 A 组和 B 组的标签撕下来随机乱贴。穷举我乱贴 10,000 次看看有多少次能“蒙”出 5% 的差异如果 10,000 次里只有 1 次蒙出了 5%说明现实世界发生的概率极低P 0.0001结论显著适用场景小样本实验。当样本少到你不敢用任何公式时用它最稳。3. 自助法无中生有的克隆大师(Bootstrap)它的绝活“拔一根毫毛变出千军万马。”痛点T 检验只能算均值的差异。但老板非要问中位数、P99、前 10% 用户的留存有没有显著差异。这些复杂的指标教科书里没有 P 值公式。解法Bootstrap 说没关系我有克隆术。虽然我只有这 1000 个用户的数据但我可以有放回地抽样。我从这 1000 人里随机抽抽完放回去再抽凑够 1000 人算一个 P99。重复 10,000 次我就得到了 10,000 个 P99。这就构成了一个分布我就可以算置信区间了。适用场景任何非均值的刁钻指标P90/P99、比率的比率。4. 费舍尔精确检验见微知著的显微镜(Fisher’s Exact Test)它的绝活“在原子层面数数。”痛点你想对比 A/B 两组的App 崩溃率。A 组1000 人1 人崩溃。B 组1000 人0 人崩溃。普通的卡方检验Chi-Square会报错因为它要求每个格子的期望数大于 5。解法费舍尔检验不搞近似估算它利用超几何分布直接算出“A 组 1 个、B 组 0 个”这种极端情况发生的精确概率。它就像显微镜专门看那些极微小的差异。适用场景极低转化率指标崩溃、投诉、退货或者极小流量实验。5. 配对 T 检验 / 符号秩检验照镜子的对比大师(Paired T-Test / Wilcoxon Signed-Rank)它的绝活“我不跟别人比我只跟昨天的自己比。”痛点普通的 A/B 实验是 A 组张三和 B 组李四比。但有时候我们想看同一个用户在策略前后的变化。比如给这 100 个用户发了优惠券后他们自己的购买频次是不是比发券前高了解法它计算的是Diff (发券后 - 发券前)。它消除了人与人之间的差异张三本来就比李四爱买只关注变化量。参数版本配对 T 检验。非参数版本符号秩检验Wilcoxon Signed-Rank。适用场景自身对照实验。总结特种兵选拔指南面对棘手的数据请按这张**“作战地图”**选人记住T 检验是常规武器非参数检验是特种部队。当常规武器失效时特种部队往往能给出更稳健的结论。如果这篇文章帮你理清了思路不妨点个关注我会持续分享 AB 实验干货文章。