9-2 严选 AB 科学实验平台实践 - 丁伟伟_网易严选

项目背景与痛点

• 决策无处不在：在线上实验中，需要评估各种参数变化的影响，如搜索、推荐算法模型迭代、首页模块调整、优惠券投放等。
• 如何做实验：实验方案开发、随机分流、埋点、线上运行、数据开发、统计分析等步骤，但存在多种挑战，如实验不够随机、不同业务间相互影响、重复开发等问题。

解决方案

• 实验前：预估最小样本量、流量接管。
• 实验中：埋点自动化、指标统一、报表自动化。
• 实验后：科学分析、统计显著性、效果显著性。

实验科学性设计

• 关键因素：95%置信区间。
• 最小样本量：根据转化率的变化范围和样本数来预估。
• 科学分析：比较均值、数据曲线，判断方案优劣。
• 统计显著性：通过显著性检测，计算p-value和统计功效。
• 效果显著性：通过计算95%置信区间来衡量差值。

流量接管

• Google流量模型：同层互斥、跨层正交。

系统设计

实验流程设计

• 理想流程：流量管控、最小样本数预估、科学分析。
• 现状：缺乏埋点自动化、指标统一、报表自动化。

数据体系建设

• 核心问题：埋点自动化、指标统一、报表自动化。
• 解决方案：页面埋点、模块埋点、指标口径定义、数据清洗、报表查询和科学分析。

系统架构设计

• Flink：用于实时数据处理。
• SDK：Yanxuan-app Server、APPTAC。
• 统计引擎：Hive、Spark、OpenTSDB。

案例分享

• 案例：旧版本首焦调整、首猜TAB展示调整。
• 验证：通过参数透传方式实现首页模块调整，两周内完成多个版本实验方案验证。
• 成果：实验周期缩短至3-7天，支持快速迭代和试错，减少业务开发和数据开发工作量。