做决定的是访客，不是会议

每个做网站的团队都熟悉这样的会议。一个新页面投在屏幕上，每个人都有自己的看法。设计师偏爱沉静的版本，销售负责人希望把价格放得更靠前，创始人喜欢自己写的那句标题。多年来我们一直坐在这样的会议里，先是作为代理机构，如今作为产品公司，身边常常是非常出色的专家。

然后页面上线，由访客来决定。他们的决定常常出乎会议室里所有人的意料。A/B 测试，就是有意识地让访客来决定的习惯：同一个页面的两个版本，同时展示给两组随机的真实访客，表现更好的那个留下。

没人看好的点子

最著名的例子来自 Microsoft。2012 年，一位负责 Bing 的员工提出，对广告标题的显示方式做一个小改动。一位工程师只需几天就能完成。它是数百个点子中的一个，项目经理给它的评级很低，于是它被搁置了六个多月。

当一位工程师终于做了一次简单的测试，新版本带来的收入高得离谱，以至于触发了一个通常意味着出现 bug 的警报。那不是 bug。Ron Kohavi 和 Stefan Thomke 在 Harvard Business Review 上写道，这一改动让收入提高了百分之十二，仅在美国每年就超过 1 亿美元，而且没有损害用户体验指标。他们称之为 Bing 历史上最能创收的点子。

同一篇文章也描述了相反的情形。在 Bing 结果页的第三栏中展示来自 Facebook 和 Twitter 的内容，Microsoft 为此投入了超过 2500 万美元的开发成本，带来的参与度和收入提升却微乎其微。小投入，大效果。大投入，小效果。事先谁也分辨不出哪个是哪个。

当专家们确信无疑时

2013 年，Bing 测试了对结果页上标题、链接和说明文字颜色的细微调整。差别几乎看不出来，所以当结果显示正面时，设计专家们持怀疑态度：人们更常、更快地找到了想要的内容。于是测试又在 3200 万用户中重做了一次。结果依然成立，这一改动估计每年价值超过 1000 万美元。作者指出，多年来，Microsoft 一直依靠专家设计师，而不是真实用户的行为，来制定其风格指南。

政治领域也有自己的版本。2007 年 12 月，奥巴马竞选团队在超过 310'000 名访客身上，用按钮、图片和视频的 24 种组合测试了其注册页面。负责分析的 Dan Siroker 后来写道，工作人员很喜欢那些视频，很可能就会选用其中一个。结果每一个视频都不如每一张图片。胜出的是一张全家福，配上一个写着“了解更多”的按钮，它把注册率从百分之八点二六提高到百分之十一点六，提升了百分之四十点六。

大多数点子并不奏效

令人不安的是基础比率。Kohavi 和 Thomke 报告说，在 Google 和 Bing，只有约百分之十至二十的实验产生正面结果；而在整个 Microsoft，三分之一的点子被证明有效，三分之一没有影响，还有三分之一让情况变糟。Thomke 研究过每年进行约 25'000 次测试的 Booking.com，他给出的总体数字是：约百分之十的实验能改善利润。

这不是绝望的理由，而是谦逊的理由。如果经验丰富的人所确信的大多数点子要么毫无作用，要么有害，那么一家仅凭意见修改网站的企业，也会把这些点子一并上线，而且永远不会发现。测试能找出赢家。同样重要的是，它能悄无声息地拦下输家。

拥有最多数据的公司，对此最为认真。2025 年 9 月，OpenAI 以全股票交易收购了产品测试公司 Statsig，据 TechCrunch 估算，交易价值 11 亿美元。

如何诚实地测试

测试和会议一样容易误导人。沃顿商学院的研究人员研究了 2014 年在 Optimizely 上运行的 2'100 多项实验，发现百分之五十七的实验者会边出结果边查看，一旦测试越过百分之九十的显著性就停止。据他们估计，这个习惯让显著结果中的假阳性比例从约百分之三十升至百分之四十二。

几条规则能让测试保持诚实。在测试开始前确定目标，并且选真正重要的那个：线索、销量或收入，而不是点击量。确定测试运行多久，以整周为单位，不要因为某个周二曲线看起来不错就叫停。随机分流访客，并检查分流情况：当各组比例与计划不符时，Microsoft 的平台会标记样本比例失配，这样的结果往往无效。每次只改一处明确的地方，这样原因才能保持清楚。

还要对大胜保持怀疑。Kohavi 和 Thomke 引用了特怀曼定律：“任何看起来有趣或与众不同的数字，通常都是错的。”在庆祝一个出人意料的结果之前，先把测试重跑一遍，并把落败的版本记录在案。失败的测试，依然能告诉您一些关于客户的事。

测试会带来什么改变

最大的改变不在页面上，而在会议里。当每一项重要改动都可以测试时，分歧就不再是比谁职位高，问题变成了先测试什么。初级员工可以提出点子，而不必先赢下一场争论；专家也可以犯错，而不至于丢面子。

留给人的，是数字之前的一切：值得测试的点子，对一个品牌即使能赢也绝不该尝试什么的判断，以及对上线内容的责任。测试能告诉您哪个标题卖得好，却不能告诉您该不该那样说。

Proof 的位置

我们打造 Proof，是因为我们试过的工具都是为测试团队而做的，而不是为企业。它在网站、落地页、网店、邮件和电子报上运行 A/B 测试，公平地分流访客，只有在结果站得住时才判定胜者，衡量标准是线索、销量或收入。它的智能体会提议下一轮测试并撰写变体，每一项都由人批准。Proof 目前处于抢先体验阶段，先在我们自己的页面上运行。页面本身可以放在 Studio 中，在那里，每一次发布都会经过检查、测试、上线、再次检查，一旦出现任何问题就自动回滚。

从哪里开始：挑出带来最多线索或销量的那一个页面，写下您认为能改进它的地方，然后用至少两个整周，拿这个想法与当前版本对比测试。无论结果如何，您都会确切知道一件以前只是假设的事。