建设工程合同网站,厦门的网站,dnn wordpress,学校网站建设的难点在互联网行业#xff0c;无论是构建搜索推荐系统#xff0c;还是智能营销等场景#xff0c;都是围绕用户进行不同的实验#xff0c;从各项指标上观察用户对不同交互、流程、策略、算法等反馈#xff0c;进而对产品进行迭代改进。 本文的goal#xff1a;在进行了模型的线下…在互联网行业无论是构建搜索推荐系统还是智能营销等场景都是围绕用户进行不同的实验从各项指标上观察用户对不同交互、流程、策略、算法等反馈进而对产品进行迭代改进。 本文的goal在进行了模型的线下迭代并且有了提升之后怎么线上进行实验怎么决定对哪些用户进行新策略、算法A的尝试对哪些用户保持原有算法B进行对照 ABTest强调的是同一时间维度对相似属性分组用户的测试时间的统一性有效的规避了因为时间、季节等因素带来的影响而属性的相似性则使得地域、性别、年龄等等其他因素对效果统计的影响降至最低。 那么到底怎么做AB Test呢
目前业界应用最多的可重叠分层分桶法。具体来说就是将流量分成可重叠的多个层或桶。
因为很多类实验从修改的实验参数到观察的产品指标都是不相关的完全可以将实验分成互相独立的多个层。例如推荐算法召回层、推荐算法排序层、打散层或者首页、业务页、详情页等。 ------------------------------------------------------------------------------------------------------------------------------- 做实验的过程中需要避免新实验流量对老模型流量的冲击。流量群体对于新模型会有一定的适应期而适应期相对于稳定期的效果一般会差一点。如果因为新实验的上线而导致整个流量群体的模型都更改了从统计学的角度讲模型之间的对比关系没有变化。但这可能会影响整个大盘的效果成本很高。
为了解决这个问题流量分桶模型优先为模型列表前面的模型分配流量实验模型尽量放在列表尾端。这样实验模型的频繁上下线不影响主力和潜力流量的用户群体。 专题业界的AB Test
