OBSBOT寻影 数据分析一面

《面试题目》

1. 说说你的项目吧。
2. 还有你实习碰到的一些问题。
3. 你的 AB 实验是怎么做的？
4. 你会关注什么指标？
5. 说说你印象最深刻的实验，你自己主导的。
6. 实验里你具体观察了哪些实验组，它的趋势是什么？P 值怎么去看？
7. UI 的改动为啥也要看稳定性？

《参考解析》

1. AB 实验怎么讲：按”假设、分流、指标、判定”四步说清——这次要验证什么假设、为什么值得做；分流单位是用户、会话还是设备，样本量与实验周期怎么定；核心指标（OEC）和护栏指标各是什么；最后落到判定规则，看显著性水平、最小可检测效应与置信区间。如果实验数据实际由产品侧在看，也要提前说清自己负责的是设计、埋点、分析还是结论汇报，否则一被深挖就会像背流程。
2. 关注什么指标：分三层答——北极星或主指标（人均使用时长、转化率）、拆解用的过程指标（点击率、进入率、完播率）、以及护栏指标（崩溃率、负反馈率、稳定性）。护栏指标的作用是防止主指标涨了但体验变坏的假胜利；UI 改动之所以也要看稳定性，是因为前端改动可能引入渲染错误、白屏或加载变慢，这些问题会顺着漏斗把转化一起吃掉。
3. P 值怎么理解：P 值是在原假设（两组没有差异）为真的前提下，观察到当前甚至更极端差异的概率，它不是”实验组更好的概率”，也不代表效应大小。判定要结合显著性水平和置信区间一起看；样本量不足、实验周期没覆盖完整行为周期、多重比较不做校正，都会让 P 值给出假阳性结论。
4. 最深刻的实验怎么讲：挑一个自己真正主导的，把背景（当时指标缺口在哪）、方案（改了什么、怎么分流、跑了多久）、结果（主指标变化幅度与置信区间、护栏指标有没有动）、复盘（踩了什么坑，比如分流不均、指标冲突、活动期污染）四段讲完。主导过的实验是最好的能力证据，比罗列实验数量有效得多。