国外域名建站,合肥佰瑞网站,电子商务网页制作试题及答案,wordpress媒体库显示空白接上篇#xff0c;以短视频优质项目为例#xff0c;火山引擎DataLeap平台治理团队会去对每天发布的这种挂购物车车短视频打上标签#xff0c;识别这些短视频它是优质的还是低质的#xff0c;以及具体原因。一个视频经过这个模型识别之后#xff0c;会给到奖惩中心去做相应…接上篇以短视频优质项目为例火山引擎DataLeap平台治理团队会去对每天发布的这种挂购物车车短视频打上标签识别这些短视频它是优质的还是低质的以及具体原因。一个视频经过这个模型识别之后会给到奖惩中心去做相应的奖惩策略。简单来说如果它是优质视频会去做这种流量的扶持是低质直接通过奖惩中心去做这种流量的打压。 算法开发阶段数据预处理产出训练数据集
以前因为模型的测试集量级很大处理起来会很慢平台治理团队现在使用 火山引擎DataLeap的 Notebook 任务做这种数据的一些预处理。在预处理完这些数据之后会把数据放到 Hive 表或者是放到 HDFS 上面去这些数据在HDFS上可以设置长久保存。这就很好的满足了在实际应用场景中需要收集很长一段数据的需求不必受存储的有效期只有 7 天时间的限制。 图DataLeap数据开发平台 之后平台治理团队再离线地去处理这些数据产出训练集合比如把在 HDFS 上存储的路径下载到自己的的开发机里面就可以去进行模型训练了。因为Notebook任务可以支持任务的每天运行不必人工去搭建Notebook环境去训练数据这样可以大大节省人力成本提升数据处理和统计效率。 算法上线验证模型效果
训练好了模型需要去评估它的效果好不好这个时候我们通过火山引擎DataLeap把线上的Kafka数据写到 Hive 里面再离线地分析对应的落的 Hive 表来看模型的效果是怎么样的发现有哪些是漏放有哪些是误伤等等不同的模型平台治理团队看的指标不一样通常的话主要看准确和召回还会看一些比如说 AUC 或者是 ACC 这样的一些数据总的来说不同的模型关注的指标是不太一样的。 与风神Aeolus结合进行监控看板的搭建
关于如何做好监控可以与Aeolus结合搭建监控看板具体来看通过火山引擎DataLeap hsql任务分析这种落好的 Hive 表然后产出统计指标比如召回率 漏放率 审出率 驳回率 把指标做成数据集在Aeolus上面去建立这样的一些看板。这种看板每天也能够例行的给到监控人员一些结果对于上线之后的数据监控是有极大帮助的。同时也会对badcase进行深入的分析进而优化算法模型。
平台治理效果
据了解火山引擎DataLeap平台治理团队去年全年累计挖掘优质短视频超147万条助力超26万名电商作者平均流量增长56%累计处罚违规低质短视频超3280万条、违规低质直播超1500万场。整体内容质量有明显改观消费者好感度上升7.2%。
此外平台还持续强化直播内容真实可信通过构建商品信息清晰、真实可信的直播生态规范达人带货行为。882名电商作者因在直播中虚假营销受罚消费者推荐度提升11.85%。
