产品经理如何看待网站开发,代码网站有哪些,免费网站的软件下载,网站建设排名优化公司互联网有线上系统#xff0c;可做严格的AB实验。传统行业很多是不能做AB实验的。
匹配侧是采用严格的AB实验来进行模型迭代#xff0c;而精细化定价是不能通过AB实验来评估模型好坏#xff0c;经历过合成控制法、双重差分法#xff0c;目前采用双重差分法来进行效果评估。…互联网有线上系统可做严格的AB实验。传统行业很多是不能做AB实验的。
匹配侧是采用严格的AB实验来进行模型迭代而精细化定价是不能通过AB实验来评估模型好坏经历过合成控制法、双重差分法目前采用双重差分法来进行效果评估。
本次只讨论AB实验其他的非AB实验方法不做详细描述大家可初步参考之前吴百威整理的文档。登录 上海哈啰普惠科技有限公司 · 上海哈啰普惠科技有限公司 《双边市场下的实验设计》。总体来说实验研究的方法梳理见下图 AB实验基础
A/B实验的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的结论并确信该结论可推广到全部流量。
A/B实验的基本思想其实非常简单——通过控制变量法随机抽取一些样本进行实验组和对照组的对比实验回收实验数据通过统计学相关知识判断两组的优劣。而目前互联网行业的A/B实验设计基本上都是参考Google公司的经典论文《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》。通过“层”“域”的设计从宝贵的线上流量中选择一部分验证产品的某个新特性回收数据以此选择产品迭代方向。大胆假设小心求证用科学的方式让产品的每一次迭代都走在正确的道路上。 传统AB实验
将正交的参数放在不同的层中这样就可以达到同层流量互斥分层流量复用的目标 正交性校验
A,B是第1层中任意两个桶用户占比例分别为N(A),N(B)X是第2层中任意一个桶如果满足以下条件N(AnX)N(A)*N(X)、N(BnX)N(B)*N(X)则说明第1层和第2层是正交的。同样这个也是可以从数学上进行证明的 最小样本量计算
设置指标时要根据业务情况决定设置为对业务有意义的提升下限。比如1个实验业务认为至少提升5个点才有意义提升2个点没有意义那就设置为提升5个点需要的最小样本量是多少2个点的差异不管有没有被检验出来都不重要。
规律提升幅度越高需要的最小样本数量越少
顺风车业务体量基本可以忽略这个问题
自动计算工具Sample Size Calculator 实验的有效天数定价实验特别要考虑
需要考虑两个因素
1试验进行多少天能达到流量的最小样本量
2同时还要考虑到用户的行为周期和适应期
用户的行为周期
部分行业用行为存在周期性例如电商用户购买行为周末与工作日有显著差异。故实验有效天数应覆盖一个完整的用户行为周期。
用户学习效应
我们的一些改动会引起老用户的好奇或不满这时候我们可以拉长实验周期或者仅用新用户进行实验。 还有其他置信区间、验证指标的显著的检验方法不详细写了。
伽利略平台已经具有的能力顺风车所有实验都是使用数分配置的指标进行指标统一。 网络溢出效应的AB实验
用户之间存在相互影响这个就是我们提到的社交活动比如说分享红包我可以在活动发起端把用户分成实验组跟对照组实验组参与这个活动的时候用户把活动分享出去就会把这个活动覆盖到原来队长组的那一波人里就会影响效果。我们可以通过社交网络关系的刻画找到相对孤岛的一群人就这一群人相对内部闭环然后把这一波人切下来去做对照组跟其他的用户进行效果对比。他们因为关联性会比较小所以产生的联系会比较少但是这里面用户本身可能天然存在一定的差异。
基于地理隔离
由于用户之间的相互影响可能产生网络效应导致AB测试用户分隔达不到预期所以我们要尽量从地理上去区隔用户进行实验。
从地理上区隔用户这种情况适合滴滴这种能够从地理上区隔的产品比如北京是实验组上海是对照组只要两个城市样本量相近即可。
基于簇的随机化网络实验
它的思想是把网络传播路径用一个社交关系图来刻画并通过算法把关系图划分成不相交的簇对簇做随机化实验从而降低网络效应带来的偏差。
双边交易市场的AB实验
双边市场是一个连接两个群体的平台在经济学中我们称之为供给方和需求方。由于需求方和供给方的行为存在彼此影响即双边网络效应导致在 AB 测试中实验组和对照组很难满足独立性的假设因此如何设计实验是一个比较大的挑战。 双边网络中供给方彼此存在竞争需求方内部存在竞争同时需求方的变化会引起供给方的变化影响相互交织形成复杂的竞争环境。 电商平台AB实验
没啥新意不存在抢夺效应简单的用户随机分流即可
广告平台AB实验
主要是参考腾讯的这个分享目前分析下来广告平台的隔离思路在出行行业没法使用
广告场景下双边市场的实验设计
隔离广告和流量新方法只在实验广告组和实验流量组生效 广告和流量同时隔离 广告和流量同时隔离但是多出空白组 广告分身实验 出行平台AB实验
时间片分流
常见时间片分流
一般是城市id时间片滴滴的方式。
传统AB随机分流的分流对象是用户唯一ID司机唯一ID而时间片分流的分流对象是一段段的时间片。这种分流算法的应用在某些业务场景并不关注单个用户的选择更关注在一个时间片内所有用户的选择。假定时间片大小为1s那么在这1s内所有的用户都会进入同一个组。同时将城市id加入随机因子中就可以观察不同城市在一个时间片内用户分流情况的对比计算业务评估指标。
比如选定城市上海A实验组B:对照组实验周期14天14T每个周期T1天每个时间片假定是2小时具体AB实验分组如下可以看到AB2组在实验期间的流量占比1:1 缺点
1: 实验周期太长上海这座城市实验期间可能还会上线别的实验没法保证时间片分流的正交
2: 实验组和对照组上来就是50对50分的大盘流量占比如果实验组效果不好没法及时感知到。
时间片轮播分流
这是参考货拉拉的方式
https://analytics.zhihuiya.com/patent-view/image?limit20q%E8%B4%A7%E6%8B%89%E6%8B%89%20AND%20%E6%97%B6%E9%97%B4%E7%89%87_typequeryredirectUrl%2Fsearch%2Finput%2FsimplepatentId223c95f1-38a6-42ed-97f2-7d13c75ad0a1sortascrows20page1source_typesearch_result
时间片轮播首先需要划分一个周期比如一天24*3600s再指定时间片大小3600s同时设置不同组占用的时间片的个数那么分流SDK就会按照该所设置不同分组占用时间片的个数进行分流保证一个时间片内所有订单进入相同组并且在一个周期内不同组占用时间片的比例符合预先的设定。 为了方便统计效果最好实验周期是以天为单位上面的做法太散了
针对大盘流量A实验组B:对照组实验阶段一周期2天1T每个周期T4小时需12个周期。每个时间片假定是1小时AB2组在实验期间的流量占比1:3 多实验并行和长期实验效果评估
多实验并行
题目1国庆期间产品进行了一系列组合拳拼三单功能开启快筛增加了国庆期间订单过滤营销活动等请问产品运营一系列动作对大盘的贡献是多少 简单解法1: 采用累乘的方式近似计算 base发完率 迭代实验1大盘提升3% 迭代实验2大盘提升2% 迭代实验3大盘提升1% 总共3次实验 50% 50%*13%51.5% 51.5%*12%52.53% 52.53%*11%53% 50%-》53%
有没有更好的办法
有时候实验A和实验B有着相互放大的作用这时候就会 11 2还有时候实验A和实验B本质上是做相同的事这时候就会 11 2 多数的实验都是短期的长期的实验该如何设计对于长期业务可能需要非常多的实验同时进行不但需要对比每个小迭代的贡献还需要对比整个模块对大盘的贡献量、部门整体对大盘的贡献量这样就需要运用到了实验的「层域架构」。注这个架构最早是由Google的《Overlapping Experiment Infrastructure》论文提出。
就需要一个贯穿所有活动的对照组在AB实验系统中通俗称作「贯穿层/域」。
注「贯穿层」在Google的论文中称为「non-overlapping domain」 根据层域架构设计顺风车大盘分流图 有个这个分流图后我们来回答题目1:
1: 计算国庆活动1的贡献国庆活动1的实验组 VS 国庆活动1的对照组
2: 计算国庆活动2的贡献国庆活动2的实验组 VS 国庆活动2的对照组
3: 计算国庆活动整体贡献业务实验域-贯穿层-国庆活动填充组 VS 大盘贯穿域-线上推全版本填充组 长期实验效果评估
题目2这个季度算法侧推荐算法模型5次发完率每次分别提升5%4%3%2%1%请问总共对业务有提升多少 根据分流图后我们来回答题目2:
计算上个季度整体贡献业务实验域-贯穿层-推荐算法填充组 VS 大盘贯穿域-上个季度版本填充组 历史文档
AB实验知识大全流程、原理、方案设计、实验分析...
数据分析岗 | AB实验之实验分流三
全网关于AA AB Test最全最清楚的介绍
AB实验技术前沿双边市场、用户泄漏、因果推断等话题的深入探讨
货拉拉A/B实验分流算法实践
万字干货营销场景下的AB实验原理
广告场景下双边市场的实验设计
搭建企业级 AB/Testing 平台实践 - AIQ
如何设计一个 A/B test --来自腾讯数据分析师的分享_如何写ab test 模版_浮豹的博客-CSDN博客
产品简介
AB实验
统计学(4)|AB测试—实验流程
浅谈AB Test实验设计二——同时多实验并行和长期实验
电商领域A/B实验平台建设方法
数据化运营实战滴滴的AB实验探索
