核心做法只有一句:把一次改版拆成“结构层”和“表达层”两批,每批只动一个可核对的变量,并给每批留出足够长的观察窗。但如果你的转化路径本身发生了变化——比如表单从站内提交改成跳转第三方、或咨询按钮从直连电话改成先弹窗再拨号——那么分变量观察的前提就不成立,此时应先把路径恢复为单一形态,再谈改版试验。
落地页改版常被当成一件整体的事:换主图、改标题、调按钮位置、加信任背书,一次上线。上线后转化率下降,你无法判断是主图不吸引人,还是按钮被挤到首屏之外。反过来转化率上升,你也不知道该保留哪一处。这不是数据不够,而是条件同时变化导致归因失效。
网易信息流推广的落地页承接的是信息流广告带来的点击,用户从广告到页面的意图链条较短,页面首屏的承诺是否与广告一致,往往比页面整体美观更影响后续动作。因此改版时最该控制的是“用户第一眼看到什么”与“下一步动作在哪”,而不是一次性把所有元素都换掉。
结构层指影响用户能否完成动作的布局因素,例如表单字段数量、按钮位置、首屏是否出现行动入口、页面是否需要滚动才能看到提交区。表达层指不影响操作路径、只影响说服力的因素,例如标题措辞、主图风格、信任文案、案例描述。
建议顺序是:第一批只动结构层中的一项,例如把表单从首屏下方移到首屏内;第二批再动表达层中的一项,例如替换主图。两批之间不要重叠观察期,否则上一批的余波会污染下一批的判断。
假设某账户在网易信息流推广中,落地页改版后表单提交量下降,但电话拨号量上升,总线索量基本持平。这时有两种解释:一是新页面把表单入口弱化了,用户转向电话;二是新页面整体说服力下降,只是电话入口恰好被强化。区分方法不是看总量,而是看分入口的转化率:如果表单曝光量没变而提交率下降、电话曝光量上升且拨号率稳定,更支持第一种解释;如果表单曝光量和提交率同时下降、电话曝光量也没明显增加,更支持第二种解释。
这个例子里的数字只是说明比较方法,不代表任何真实账户的表现。关键是:你要能指出“哪个入口的曝光变了、哪个入口的转化率变了”,否则总量持平只是掩盖了结构变化。
反例是:改版同时更换了转化承接方式。例如原页面表单提交后留在站内提示成功,改版后改为跳转到外部页面完成提交;或者原页面按钮直接唤起拨号,改版后改为先弹出确认框再拨号。此时用户完成动作的步骤数变了,表单提交率与拨号率不再可比,分变量观察失去基准。
遇到这种情况,正确动作不是继续拆分变量,而是先把承接路径统一回单一形态,确认数据口径能对齐后,再重新开始结构层试验。否则你比较的是两种不同的转化定义,而不是两个页面版本。
动手改版前,先写下这次要动的所有元素,按结构层和表达层分类。然后只从结构层里挑一项作为第一批,其余全部冻结。上线后记录该入口的曝光量与转化率,而不是只看总线索数。等这一项的结果稳定,再解冻表达层中的一项。
如果发现同一批里有两项以上无法分开,例如按钮位置和表单字段数必须一起改才能让页面成立,那就承认这是一次组合改版,用“改版前 vs 改版后”的整体对比来观察,不要假装它是单变量试验。这样做的结果是:你得到的结论虽然粗,但不会把功劳或责任错误地归给某一个元素,下一步该保留什么、该回退什么也就有了依据。