新版本发布灰度上线的因果效应评估（DID-Excel版）

项目背景为提升首页流量分发效率与个性化推荐转化能力某电商平台对 App 首页进行结构性改版新增「猜你喜欢」瀑布流模块通过算法实时捕捉用户兴趣实现“千人千面”的商品曝光。受限于服务端渲染能力与推荐算法算力本次改版采用城市级灰度发布策略杭州、成都作为实验组开启新版首页南京、西安作为对照组维持旧版首页不变。由于灰度城市与对照城市在用户画像、消费习惯及活跃度上存在天然差异且同期存在季节性波动与运营活动干扰简单对比无法识别瀑布流模块的真实贡献。因此本项目基于双重差分法DID在满足平行趋势假设的前提下剥离城市固定效应与时间趋势系统评估「猜你喜欢」瀑布流对用户浏览行为、转化效率及交易成交的净因果效应为后续全量上线、推荐策略调优及首页流量分配机制优化提供量化决策依据。分析目标目标指标示例业务含义验证瀑布流对流量分发效率的影响首页 PV / UV、人均浏览时长、浏览深度是否提升用户注意力评估推荐算法对互动行为的提升瀑布流曝光 UV、CTR、人均浏览商品数推荐相关性是否有效量化对转化漏斗的拉动作用加购率、下单转化率流量是否更有效变现测算对成交规模与结构的影响客单价AOV、GMV、人均 GMV商业价值是否提升城市级灰度的概念维度说明分组单位​城市或城市群不是单个用户实验组​杭州、成都 → 首页是新版有「猜你喜欢」对照组​南京、西安 → 首页仍是旧版无「猜你喜欢」判定逻辑​App 后端 / 前端根据user.city_id决定渲染哪个首页模板上线时间​同一天对所有杭州、成都用户生效有明确 treatment date为什么要用城市级灰度而不是随机分流ABTest采用城市级灰度的原因详细说明避免同一城市部分人看新版、部分看旧版带来的舆情混淆用户发现身边人的首页不一样可能会找客服投诉。一个城市统一版本用户只会觉得“不同城市的首页本来就可能不一样”而不会觉得“平台针对我一个人搞差别对待”。新版首页依赖本地缓存 / CDN / 推荐模型按城市批量切流更简单如果新版首页崩了按城市灰度 → 只回滚一个城市配置按用户随机 → 要紧急改实验流量风险不可控。想观察 物流 / 品类 / 地域偏好​ 不同是否会放大或削弱效果不同城市用户行为完全不同如果直接全国上线可能看不到这些差异。如果指标上涨并不知道是因为高线城市拉起来的避免推荐系统冷启动压力集中在全国只给 23 个城市​ 流量推荐日志可控模型可以逐步学习算法同学有时间调参。实验设计实验组Treatment杭州、成都灰度开启城市对照组Control南京、西安未开启保持旧版首页上线时间2026-03-15分析窗口事前2026-02-15 2026-03-144 周事后2026-03-15 2026-04-144 周核心目标量化瀑布流对用户体验与成交的净影响排除大盘自然波动。评估指标CTR点击率、人均停留时长秒、GMV per user人均成交金额关键假设平行趋势上线前灰度城市与非灰度城市的指标变化趋势一致无同时干扰同期无其他针对灰度城市的专项活动SQL取数with user_event as ( select dt, user_id, city_name, sum(case when event_idhome then 1 else 0 end) as home_pv, sum(case when event_idguess_you_like then 1 else 0 end) as gyl_click from ods_user_event where dt between 2026-02-15 and 2026-04-14 and event_id in (home,guess_you_like) group by dt,user_id,city_name ) , user_duration as ( select dt, user_id, city_name, sum(duration_sec) as duration_sec from dws_session_summary where dt between 2026-02-15 and 2026-04-14 group by dt,user_id,city_name ) , user_gmv as ( select dt, user_id, city_name, sum(pay_amount) as gmv from dwd_order_info where dt between 2026-02-15 and 2026-04-14 and order_status1 group by dt,user_id,city_name ) , user_feature as ( select case when d.city_name in (杭州,成都) then 实验组 else 对照组 end as is_treat, case when d.dt2026-03-15 then 后 else 前 end as post, d.dt, user_id, city_name, duration_sec, gmv, home_pv, gyl_click from user_duration d left join user_gmv g on d.dtg.dt and d.user_idg.user_id and d.city_nameg.city_name left join user_event e on d.dte.dt and d.user_ide.user_id and d.city_namee.city_name where city_name in (杭州,成都,南京,西安) ) select is_treat, post, avg(home_pv) as avg_home_pv, avg(gyl_click) as avg_gyl_click, avg(duration_sec) as avg_duration, avg(gmv) as avg_gmv from user_feature提取出的数据组别时期人均停留GMV/人CTR实验组前15548.20.062实验组后173.649.80.071对照组前15247.50.061对照组后15447.70.062结果计算DID (试点后−试点前)−(对照后−对照前)Excel计算公式单元格ABCDE1指标实验Δ对照ΔDID​提升%2停留时长B2 Sheet1!C3 - Sheet1!C2173.6-15516.6C2 Sheet1!C5 - Sheet1!C4154-1522.0D2 B2 - C218.6-2.016.6E2 D2 / Sheet1!C216.6/155 10.7%3GMV/人49.8-48.21.647.7-47.50.21.41.4/48.22.9%4CTR0.071-0.0620.0090.062-0.0610.0010.0080.008/0.06212.9%计算结果指标实验Δ对照ΔDID提升%业务含义停留时长18.62.016.6秒​10.7%用户更愿意浏览GMV/人1.60.21.4元​2.9%带动成交CTR0.0090.0010.008​12.9%推荐的模块吸引力强业务解释“猜你喜欢”瀑布流显著提升了首页流量利用效率用户停留时长提升 12%GMV 提升 3.4%增量主要来自 长尾商品曝光​ 与 个性化推荐点击