网站中文域名好不好,网站建设方案书阿里云模板,冯耀宗seo博客,网站推广方式主要通过文章目录必备技能数据人员如何创造价值完整的指标体系构建数据监控集报表设计设计一份优质的数据分析报告基于互联网大数据的应用A B 测试用户画像完整的数据挖掘项目流程1. 分析问题#xff0c;明确目标2.模型可行性分析3.选取模型4.选择变量5.特征工程6.建立模型效果…
文章目录必备技能数据人员如何创造价值完整的指标体系构建数据监控集报表设计设计一份优质的数据分析报告基于互联网大数据的应用A B 测试用户画像完整的数据挖掘项目流程1. 分析问题明确目标2.模型可行性分析3.选取模型4.选择变量5.特征工程6.建立模型效果评估7.模型上线迭代内容整理自《拿下offer 数据分析师求职面试指南》—徐粼著 第五章数据分析师实战技能其他内容 【数据分析师求职面试指南】必备基础知识整理 【数据分析师求职面试指南】必备编程技能整理之Hive SQL必备用法 【数据分析师求职面试指南】实战技能部分
必备技能
数据人员如何创造价值
基于历史数据和业务背景构建指标体系或者模型。基于指标体系监控线上业务数据并制定相应的监控规则。输出数据分析报告或者提供可执行策略推动业务的发展。
完整的指标体系构建
Q1要构建一套指标体系整体思路 构建指标体系应该“纵向”和“横向”相结合 - 纵向指的是梳理出分析问题的整个流程比如对于电商产品需要分析出用户从进入网站到最终下单的整个流程对于工具类产品则需要关注用户使用过程中的体验以及用户流失情况。 - 还需要横向拓展不同的维度如基于用户画像的人群分类、根据不同业务背景的时间拓展以及业务线的划分。 最后将纵向和横向的结果相结合就得到了一套完整的指标体系。
Q2用户行为的核心节点有哪些如何有针对性地设计指标 了解用户行为的核心节点实际上就是纵向分析的过程。互联网公司大多针对C端用户进行分析这里就以C端用户(consumer 消费者)为例进行介绍。对于C端用户核心的三个节点是新增、活跃、留存/流失大多数分析都是围绕这三个节点进行的。 可以看到针对新增、活跃、留存/流失这些节点可以纵向设计出很多指标但主要是绝对数量和百分比。
对于新增用户指标有新增用户数量、新增用户留存率、新增用户活跃率等。对于活跃用户指标有活跃用户数量、活跃用户中的新增用户数量、活跃用户中的老用户数量等。对于老用户指标有老用户数量、老用户流失率、老用户唤醒率等。对于流失用户指标有流失用户数量、流失用户与新增用户比率等。
这样就可以针对用户的整体行为节点进行比较完整的指标设计其中活跃用户部分是需要重点关注的通过对从新增到流失整个流程指标的构建可以清晰地看出在哪个环节最终活跃用户数增加了或者减少了。 Q_4对于活跃用户应该如何进行相应的指标设计及路径分析 对于活跃用户要研究其活跃行为从而提高用户的体验。针对不同类型的产品需要进行相应的细分设计。 比如对于电商产品需要关注的是从来访用户到用户最终成功支付的整个流程如图5-2所示。 可以看到针对这个流程的每一步都可以统计出相应的用户数量以及上一步的转化率比如来访用户数量、点击用户数量、加入购物车用户数量、下单用户数量、支付用户数量、最终成功支付用户数量以及各种转化率如点击/曝光转化率、下单/点击转化率、下单/加购转化率、支付/下单转化率、成功支付/支付转化率。这些指标就构成了一个完整的纵向指标体系通过这些指标可以清晰地看出哪个环节存在问题。 对于电商产品除了要关心用户数量金额也是要关心的指标。从加购开始每个环节在用户数量的基础上都需要增加金额指标以及相应的客单价指标。
对于短视频需要分为视频的观看者和视频的发布者两个独立的用户群体进行分析。 对于视频的观看者需要考虑的是各种行为数据相对路径比较短如图5-3所示。针对用户的这些行为设计相关的指标比如观看视频的数量、整体时长、点赞视频占比、评论视频占比等这些指标刻画了用户观看视频的体验情况。 对于视频的发布者则需要关注整个流程看在某个环节的转化上是否存在问题造成发布的视频数量减少如图5-4所示。
*以上就是构建指标体系的纵向部分其中包括了用户从新增到流失/留存的整个流程这是比较通用的指标体系建立方法。面试前需要对所要应聘部门的业务有所了解梳理出产品中用户的生命周期以及活跃用户的行为情况。
Q_5有了明确的用户行为路径及相关指标后如何进一步分析 除了纵向分析还需要横向分析横向分析是指对于同一个指标基于不同的维度进行相应的拓展常用的维度包括时间维度和用户维度。
Q_6针对时间维度的分析需要注意的点有哪些 对于时间维度常用的分析方法是关注最近一段时间的数据时间的长短要根据业务的具体特性来确定。对于一些高频的App或者功能通常关注最近17天的整体数据情况即可也可以是自然周。对于一些相对低频的App或者功能则需要将时间拉长关注最近15天、30天、90天甚至更长时间的整体数据也可以是自然月、季度甚至自然年。
另外与时间维度相关的有同比和环比的概念。因为单纯地关注一段时间的数据并不能很好地看出趋势情况需要与之前的数据进行对比。对于同比和环比的概念在实际应用中不需要进行很明确的划分。常用的对比方法是对比当日与上日、本周与上周、本月与上月的数据。对于一些周期性比较强的产品则需要先确定产品的周期比如有些产品会受到周末的影响此时比较合理的对比方法是用本日的数据与上周同一日的数据进行对比有些产品会受到大型节假日的影响此时针对节假日数据就需要与上一个大型节假日的数据进行对比。
对于一些对实时性要求高的产品需要将数据指标细化到小时级别。
除了时间维度还有一种常用的拓展方法就是基于用户画像的用户维度进行拓展。用户画像是互联网公司中常用到的分析工具通过用户画像可以有效了解各个群体的行为情况也可以基于用户画像拓展出相应的指标。
Q_7列举常用的用户维度拓展方法。 有很多通用的用户维度拓展方法比如对于用户所在地可以分为城市、省份甚至华东、华南等大区对于用户的基本属性可以分为年龄、性别、职业等对于用户使用的设备情况可以分为终端类型、客户端版本、厂商、机型等对于新老用户也可以拓展出一些指标。对于新用户需要关注的是用户来源渠道通常分为自然新增用户、活动新增用户、广告新增用户等渠道通过对渠道的划分可以在一定程度上避免一些大型活动对新增用户分析带来的影响对于老用户根据用户的生命周期进行划分通常分为有效用户、活跃用户、忠诚用户、沉睡用户和流失用户可以对产品整体趋势有一个清晰的了解。 Q_8×××最近有所下降如何进行分析 针对这个问题需要充分利用前面所讲的指标体系按照如下步骤进行分析。 1梳理与该问题相关的流程确定纵向指标体系。比如是支付金额有所下降就需要梳理曝光→点击→下单→支付这样完整的用户路径以各个环节的转化率和用户量为核心指标。 2针对核心指标确定所要对比的时间维度比如基于所要分析的产品确定与前一天或者前一周的数据进行对比发现问题所在。 3确定问题所在的环节后针对该环节以用户维度进行拓展如基本属性、所在地、设备情况、新老用户等确定引起该问题的用户群体并针对这部分用户进行相应的策略调整。 除了上述问题对于“新版产品或者某个运营活动上线后如何评估效果”等问题也可以采用相同的方法进行分析只做微调即可。 总结起来整个思路就是梳理路径→确定对比的指标→选取对比的时间维度→针对问题环节拓展用户维度。
数据监控集报表设计
前面介绍了指标体系的构建通过指标体系可以有效地指导产品人员和运营人员进行决策。但是真正执行时还需要基于指标体系来构建有效的数据监控体系将指标体系落地其最重要的产出就是报表。
Q_1现在需要监控数据并设计相应的报表应该考虑哪些问题 实际上关于数据监控及相应报表的设计有很多需要思考的地方可以总结成三个问题看什么、怎么看、给谁看。 监控数据和设计报表的基础就是前面构建的指标体系但是仅仅将指标简单地罗列出来显然是不够的下面就以一个产品的日常数据报表为例来介绍“看什么”。
Q_2如何避免在报表中简单地罗列数字提高信息量 假如一个产品的基本数据报表包含了活跃用户数、新增用户数、老用户流失率等指标这样的数据报表给人的感觉更像是流水账起不到任何对数据进行监控的作用其中的指标是好还是不好不能很直观地看出来。
因此需要根据实际情况在报表中增加对比数据与1天、7天或者30天前的数据进行对比这样能够快速、直观地了解数据的变化。能够很快地通过报表数据清晰地了解指标的变化情况相比于单纯地展示数据可读性大大增加 同时可以将周同比数据中低于5%、高于5%或者其他阈值的数据用不同的颜色进行标注通常用红色标注高于阈值的数据用绿色标注低于阈值的数据。
可以看到经过两次调整报表的可读性得到了有效提升同时增加了传递的信息量。在日常工作中应根据业务变化不断地对报表内容以及数据监控的策略进行相应的调整包括对比的数据和阈值等以适应业务发展的需要。另外报表不仅仅是表格形式折线图、柱形图等图表也可以用作数据监控报表。
在解决了“看什么”的问题后接下来要考虑的就是“怎么看”。
Q_3常用的报表输出方式有哪些 一种方式是通过数据看板平台输出
另一种方式是通过邮件发送报表。相比于数据看板邮件报表所能传递的信息量要少一些但由于邮件是日常工作中不可或缺的一部分不同于数据看板需要主动关注邮件报表属于“被动接收”传递信息更加快速、直接通常都会设置为定时任务在固定时间发送报表给相关人员。
接下来要考虑的就是“给谁看”这是将报表功能最大化的核心问题。 报表的受众主要分为三类领导层、业务层和客户三者虽然都要关注报表数据但是关注点不同因此要基于各自的需要提供相应的数据和展现方式。
Q_4针对不同的人群如何设计相应的报表 领导层提供给领导层的一定是最核心的指标数据并且要采用最直观的展现方式。由于领导层每天要接收大量的来自不同业务线或者部门的信息需要在短时间内获取最直观的业务数据以便制定下一步的策略。因此提供给领导层的通常是邮件报表并且在邮件报表中选取最核心的指标数据将变化趋势直观地表现出来使领导层对核心数据的变化情况一目了然。(就是说不要弄花里胡哨的东西)
业务层不同于领导层关注最核心的指标数据业务层需要对所有的相关数据都能够做到及时监控和分析因此提供给业务层的数据务必要全面能够将各个维度的信息都展现出来。所以通常将提供给业务层的数据集中展现在数据看板中并且可以根据需要进行实时或者准实时更新当数据出现波动或者异常时能够第一时间通知到业务方进行排查。
客户比如电商公司提供相应的报表给店铺或者供应商指导其进行策略调整也会采用数据看板但是信息量会有所减少因为要排除敏感数据和次要信息主要围绕如何帮助他们提高销售额或者达到其他目标而更加有针对性地展示相关数据。
如果在简历中提到有过设计报表的经历那么在面试中通常会被要求介绍相关工作内容因此需要候选人多多思考这方面的内容避免给面试官留下“流水账”的印象。
设计一份优质的数据分析报告
这里要讲的数据分析报告能够聚焦于某个点给出分析数据比如新功能上线后的数据分析报告、运营活动效果的分析报告等。 关于数据分析报告的设计需要考虑一个最核心的问题就是如何提高质量。
Q_1如何提高数据分析报告的质量 1明确整体分析思路。好的数据分析报告都依赖于一个明确的思路需要在开始设计报告前就整理出一个基本的框架然后在设计过程中进行适当的添加。切勿在开始设计数据分析报告前不做规划“边做边加”否则效率会大打折扣。
举个例子现在分析一次电商营销活动的效果首先需要对分析维度进行拆解如分为活动的整体效果、各个商品的销售情况、各类人群的销售情况。然后需要确定衡量这次活动的核心指标如点击率点击人数/曝光人数、支付转化率支付人数/点击人数、点击单价支付金额/点击人数、客单价支付金额/支付人数等。 以上就是一次电商营销活动效果分析报告的设计思路包含了对分析维度的拆解也称为下钻和核心指标的确定有了一个清晰的框架接下来就可以基于此进行数据的提取、分析以及可视化操作了。
整体分析结构 2结论提前清晰明了。 在一份数据分析报告中运营方和决策层最关心的就是结论以及相应的策略这是报告中最有价值的部分。 但也不是说简单地将所有的结论罗列出来就可以了[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TakS75Tk-1678355012001)(images/5d683eedda955cd288ca2d898f35fd3.jpg)] 这种结论看起来像流水账出现了太多的数据并且很多是没有价值的。比如男上装等四个品类的占比这样的数据罗列毫无价值而是应该给出和一个标杆进行对比的数据。再比如“女性用户整体指标符合预期”其本身并不具有特别大的价值在结论中应该主要关注那些变化比较明显的点。对结论进行合理的修改修改后的结果如图所示。
可以看到剔除了一些无关紧要的数据在整体结论中只放最核心的问题或者闪光点并且给出相应的策略。 3注意图表的信息量。作为支撑分析的论据需要在数据分析报告中使用大量的图表但是很多时候会存在图表的信息量过少或者过多的情况—如果信息量过少则无法很好地展示数据如果信息量过多则会影响他人的理解无法直观地看数据。 以上图中提到的“男性用户点击率比平均水平低”这个点为例证明这是造成男上装销售额偏低的主要原因可以使用漏斗图看各个环节的转化率并且能够与历史数据进行对比
基于互联网大数据的应用
A B 测试
目前在互联网公司中AB测试具有不可替代的作用也是数据分析师需要掌握的重要技能。由于AB测试涉及很多统计学知识因此需要花一定的时间来仔细研究。
Q_1简述AB测试。 AB测试是指为了评估模型/项目的效果在App/PC端同时设计多个版本在同一时间维度下分别让组成成分相同相似的访客群组随机访问这些版本收集各群组的用户体验数据和业务数据最后分析评估出最好的版本正式采用。 AB测试的整个过程分成三个部分试验分组、进行试验、分析结果。 直观上看分组是整个测试中比较简单的部分但实际上它是测试中最重要的一个环节如果分组不合理之后的试验都是徒劳。
Q_2介绍常用的AB测试的分组方法。 常用的分组方法包括基于设备号、用户唯一标识如用户id等的尾号或者其他指标进行分组如按照尾号为奇数或者偶数分成两组在分组过程中不需要对这些唯一标识进行处理。另外一种方法就是基于这些唯一标识通过一个固定的Hash函数对用户唯一标识进行Hash取模、分桶将用户均匀地分配至若干个试验桶中。可以将桶简单地理解为小组通 常会分为100个组或者1000个组相比于直接基于唯一标识进行分组这种方法能够进一步将用户打散提高分组的效果。 上面介绍了将用户进行分组的方法在进行单个试验的情况下可以将通过Hash函数得到的桶编号1100在试验中将编号150分为A组将编号51100分为B组 然后进行对比。但是在实际工作中通常会出现多个试验并行的情况并且由于网站或者App的流量是有限的同一批用户可能会同时作为多个试验的数据源此时进行分组就要全方位地考虑目前正在进行的试验情况。
Q_3面对多个试验并行的情况如何保证分组的合理性 这里需要引入“域”的概念。对于所有的用户需要在所有的试验开始前将其划分为不同的域不同域之间的用户相互独立交集为空。对于一些比较重要的试验可以专门为其划分出一部分用户在该试验进行期间不会针对这些用户进行其他试验这称为“独占域” 。在进行试验时只需要基于这些用户的Hash值分组即可。
与“独占域”对应的是“共享域”即针对域中的用户会同时进行多组AB测试此时在分组的时候就需要考虑分层。为了方便理解这里将每一个试验作为单独的一层根据试验开始的时间将试验按照从上层到下层的顺序进行排列下一层试验进行分组时需要将上一层试验各个分组的用户打散如图5-17所示。
可以看到第二层分组开始时充分考虑了第一层的各个分组将第一层各个分组的用户随机选取50%进入第二层的分组中这样保证了第二层用户的随机性。依此类推各个层在分组时都需要将上一层分组的用户打散。 综上所述分组情况总结如图5-18所示。 需要注意的是在同一个共享域不可以同时进行过多的试验即使基于正交的方法可以保证随机性但通常最多也不要超过7个试验同时进行同时也要思考是否有办法验证分组的随机性。
对用户进行合理的分组之后接下来就正式进入AB测试的实施阶段了。
Q_4如何充分证明AB测试分组的随机性 在AB测试中理论上即使通过基于正交的方法可以保证用户分组的随机性但是为了防止意外情况的发生还需要引入“AA测试”的概念进一步保证分组的随机性。通常分组情况如图5-19所示。
以上就是一个典型的试验分组策略。通常用A版本表示老版本B版本表示新版本按照6∶4的比例进行划分同时从A版本中划分20%的用户进行AA测试。最终验证结果时首先要保证AA测试通过确保分组的合理性然后看AB测试是否通过如果AA测试没有通过那么AB测试的结果就没有任何意义。
Q_5简述AB测试背后的理论支撑。 这里需要考虑AB测试所运用的核心原理根据中心极限定理当数据量足够大时可以认为样本均值近似服从正态分布。然后结合假设检验的内容推翻或接受原假设。 最后要做的就是分析试验结果这一部分要用到中心极限定理和假设检验。
Q_6如何通过AB测试证明新版本用户的转化率高于老版本用户的转化率
用户画像
用户画像是互联网公司大数据体系中非常重要的一个部分通过用户画像可以对用户进行全面分析——既可以利用用户画像“千人千面”地推荐相关产品又可以基于用户画像分析产品目标用户以及针对不同属性的用户采取不同的召回策略。 关于用户画像数据的计算、获取、存储有一套比较完善的系统称为数据管理平台DMP。这部分内容只要了解即可数据分析师关注更多的是用户画像数据的加工和应用。 在获取用户画像数据的过程中与数据分析师工作密切相关的内容如图所示。 Q_1用户画像的数据源有哪些 用户画像的数据源主要有两种其中一种是用户基本属性数据如性别、年龄、地域等另一种是用户行为数据如浏览、下单、观看等。
用户基本属性数据往往会存在缺失或者不准确这部分数据大多来自用户注册时所填写的信息并且不是强制性填写的所以会存在一定的偏差。 用户行为数据则体现出用户近期的一些行为对“近期”的定义要参照不同的产品属性比如对于旅游类低频App来说最近30天或者更久的数据都是需要关注的而对于短视频这种产品则通常需要关注30天甚至7天之内的数据。
Q_2 获取到用户画像数据后如何加工呢 一是通过分析计算比如分析用户最近一段时间的消费金额、消费频次等获得其活跃度以及相应的偏好或者通过分析用户近期的登录地址或者订单地址等判断其所在地。 二是建立相应的数据挖掘模型预测用户基本属性如性别、年龄等有效弥补基本属性数据的缺失以及偏差。比如在电商领域可以根据用户近期浏览婴幼儿类产品的情况再结合深度学习模型判断该用户或其家人所处的孕期之后进行更加准确的商品推荐。
通过数据加工可以获得一个完善的标签池其中包含了大量的用户属性信息。比如对于用户小王通过标签池我们可以了解到小王的性别、年龄、居住城市以及该城市的等级一线、二线、三线等同时也可以了解到小王近期的活跃度并且会基于活跃度划分相应的等级小王的一些偏好也能通过计算获得如小王喜欢看的视频类型、关注的商品类型、对价格的敏感度、对不同类型活动的喜爱程度等。
很多人对用户画像的理解可能就限于此认为用户画像只是丰富标签池的过程所谓的基于用户画像分析也不过是将所有的标签数据进行对比得到相关的结果比如男性用户和女性用户的占比以及各自的转化率等。实际上这只是对标签数据的应用还不能算是用户画像层面的应用。只有根据需要将这些标签数据进行有效的整合重复使用这些数据才能算是用户画像层面的应用。
Q_3如何利用标签池中的数据根据用户画像进行相应的分析 举例说明假如现在有一个新产品需要推荐目标用户是大城市的白领女性这时就要通过标签池中的数据来刻画“大城市的白领女性”这一特征。 首先预测性别筛选出女性用户居住在一线城市然后排除对价格敏感度较高的用户并且要求近期活跃度偏高。同时这部分用户通常对品质要求比较高因此可以基于此选取出在商品偏好中品质占比较高的用户这样就可以刻画出“大城市的白领女性”这一用户群体并且将后续的活动消息优先发送给这部分用户。 用户画像在互联网公司中应用非常广泛候选人需要对用户画像有深刻的理解。
完整的数据挖掘项目流程
在工作中运用的数据挖掘模型要求更加敏捷且可操作性强也因此需要更加全面地评估模型并选取合适的模型。一个完整的数据挖掘项目流程分为如下7步。
1. 分析问题明确目标
这里以一个风险订单识别模型为例实际上很多互联网公司都是中间商需要连接用户与供应商将用户的订单提供给供应商由供应商履行订单。但是在这个过程中很容易会因为各种原因使得订单无法顺利完成这样的订单可以称为风险订单。 通过数据挖掘模型可以提前预估订单风险的大小采取有效措施规避风险减少风险订单的数量。这样既可以减少经济损失又可以提升用户体验。
2.模型可行性分析
并不是所有的问题都需要使用数据挖掘模型或者能够通过数据挖掘模型来解决。在建模之前需要进行可行性分析没有进行可行性分析就盲目地套用模型最终很可能会导致白白地费时费力。
Q_1在建模之前需要从哪些方面分析可行性 上述风险订单识别问题最终可以被转化为二分类问题将历史上的风险订单标记为1将非风险订单标记为0通过模型对所有订单的风险性进行打分打分区间为01。通过模型训练得到阈值对超过阈值的订单进行人工/自动干预这样就将业务问题转化为了使用模型可以解决的问题。
当然虽然可以用模型来解决问题但是也要考虑两个重要因素即KPI和历史数据量。
KPI关键绩效指标在建模前需要明确业务方为项目制定的KPI并且计算为了实现KPI模型要达到的准确率、召回率等。如果通过计算得知模型所要达到的效果是难以实现的那么显然需要调整KPI或者进行其他操作。
历史数据量这是一个重要的判断模型是否可行的因素再强大的模型也需要通过训练足够的历史数据从中进行学习最终才能输出相应的结果。当历史数据量非常少时需要考虑补充数据或者选取对数据量要求较低且复杂度较低的模型。判断模型可行性的流程如图5-24所示。
3.选取模型
前面对一些常见的模型已经做了介绍[1 基础知识]
4.选择变量
在确定了模型之后下一步要做的就是提取并选择变量。准备变量的过程也是非常重要的通过讨论变量可以使大家对业务有更深的理解常见的步骤包括
通过PRD文档、业务方需求文档建立变量池组织变量讨论会拓宽对业务的认知丰富变量池 借助SQL语句从数据库中提取变量一小部分数据由业务方直接通过表格提供。
Q_2常见的变量分类方法有哪些 T1变量前一天或更早的数据主要是历史数据对时效性要求不高。例如用户、供应商标签画像数据包括用户信用等级、供应商合作等级、规模大小等用户、供应商历史风险订单及其他相关数据如供应商被投诉情况等。
实时变量短时间内获取的最新数据。通常延迟在5分钟之内对实时性有较高要求。比如用户当天的行为数据如App的打开、操作数据在条件允许时可以使用GPS数据。还有供应商实时库存紧张程度通常用01之间的值来刻画。
可以参考此前指标体系的拓展方法对变量也进行相应的拓展如以时间、用户等维度进行拓展如图5-25所示。
5.特征工程
在选择好变量之后对这些变量进行处理称为特征工程。
Q_3在数据挖掘项目中特征工程包括哪些方面 1验证逻辑这是特征工程中必要的步骤特别是在添加某一变量使模型效果得到了极大提升之后。常见的逻辑错误如下
因果关系倒置将结果作为变量放入模型中例如通过用户评论情况判断订单是否被履行实际上是后置数据只有订单被履行的用户才会发表评论相当于用结果证明过程。忽略模型上线后变量计算时效性.在取数过程中出现错误
2缺失值处理对于一些模型如XGBoost模型在符合逻辑、确保缺失值具有一定意义的前提下可以不做处理其他情况都需要进行处理。在风险订单模型中通常服务统计指标缺失的供应商为低频供应商保留其空值在一定程度上反而是最好的处理方法。
常见的缺失值处理方法如下
用特定值表示如-9999。统计插值均值、中值、众数适用于数值型变量。模型插值SKNN参考最临近的k个值进行填补EM聚类选择不存在缺失值的变量进行聚类根据所在类的其他值进行填补。
3异常值处理判断业务逻辑在取数计算过程中是否出现错误Hive取数时的join操作可能会因为一对多的对应关系而出现重复数据需要随时验证数据的唯一性。
统计方法3σ、盒形图、分位数。模型方法iForest孤立森林每次随机划分属性和划分点值时都是随机的计算样本所处节点的深度深度越小越可能为异常值。
常见的异常值处理方法如下
删除异常数据所在的记录。将异常值记为缺失值用填补缺失值的方法进行处理。
6.建立模型效果评估
建立模型和效果评估这部分内容在前面的Python、R的章节中都有所介绍这里不再赘述。
7.模型上线迭代
模型线下训练好之后接下来需要做的就是正式上线。
Q_4在模型上线前以及上线后都需要做哪些工作 在模型正式上线前通常需要将模型封装成特定的模型文件交由开发部门开发部门定时调用模型文件。当然有些模型如线性回归模型上线时就无须交付模型文件只需提供变量对应的参数即可。目前比较常用的方法是将机器学习/数据挖掘模型打包成PMML文件。 PMMLPredictive Model Markup Language是一种通用的基于XML的预测模型标记语言由DMG组织发布使用它能够做到
任何语言都可以调用模型。不存在调用的通信消耗。直接部署上线无须二次开发。支持数据转换比如标准化与one-hot编码等。
在模型上线前需要提前制定好监控策略保证模型效果在可控范围内。 实际上模型上线只是整个环节中的一环并不代表项目结束还要针对模型上线后的表现进行迭代及修正。随着模型的上线此前很多有着非常重要作用的变量其重要性逐渐减弱比如具备某一类属性的供应商因为模型的上线而被重点监控该属性之后所起到的重要作用会有较大的减弱。 我们需要时刻保持对模型的迭代并在相应的代码管理平台及时更新代码做好模型版本编号以此形成一个完整的闭环如图5-26所示。
