坪山网站建设信息,安阳logo设计公司,在线图片转文字识别,wordpress加图标Power Query中一些忽略的细节 重新认识Power Query查询的引用----提高数据加载效率透视逆透视----一对“好朋友”神奇的拼接----实现很多意想不到的操作 重新认识Power Query 关于它的定义#xff0c;这里不再赘述#xff0c;主要说一些新的理解。 Power Query 可以理解就是一… Power Query中一些忽略的细节 重新认识Power Query查询的引用----提高数据加载效率透视逆透视----一对“好朋友”神奇的拼接----实现很多意想不到的操作 重新认识Power Query 关于它的定义这里不再赘述主要说一些新的理解。 Power Query 可以理解就是一个 ETL 工具他可以从几乎所有类型的数据源中提取数据根据业务进行转换然后加载应用。虽然乍一看它的很多功能在Excel都能实现那它是不是就是Excel的替换品呢答案是否定的。 当应用场景是只需要一次的处理且数据量不大的情况下Excel方便、快捷、上手快但当这个处理过程是要每天循环呢Excel就显得有点力不从心所以这就是PQ的优点 1.把重复的工作变成一次性工作之后刷新即可更新数据 2.很多数据处理操作PQ有更高的效率和更方便的操作方式不出现Excel中的 “卡死” 现象 查询的引用----提高数据加载效率 想象有这样一个业务场景 对同一个数据源需要进行不同的操作分组、透视、提取、分裂等然后使用相应的结果去做后续的分析几次结果之间没法使用一张表呈现怎么解决呢 当然最简单的肯定是用几次就做几个查询然后问题就解决了 是的按上述的方法可以解决但是当业务数据很大时加载就会花费很多的时间这是业务中最不愿看到的这就不得不说说PQ中的暂存设置。 基本思路就是加载一次数据源对数据源不做任何操作后续不同的操作直接对数据源进行引用然后进行相应各自的操作减少数据加载次数。具体步骤如下
1.数据源直接加载不做操作 2.对数据源右键选择引用引用的数据源变成之前的数据源而不是加载路径只要之前的数据源变动它也更着变动 3.再在引用的查询后面进行相应的操作即可不会影响数据源也不会影响其他数据源的引用而且数据只加载的一次加载数据源 笔者测试的原本更新一次数据源要花费200s不暂存直接加载三次数据源而更换暂存逻辑后更新一次数据只需要90s效果还是很明显的尤其是在数据很大的业务中。
透视逆透视----一对“好朋友” 这里对透视和逆透视不再赘述感兴趣的可以参考 透视和逆透视 这里只是说下透视就是把行数据变成列数据而逆透视就是把列数据换成行数据 换句话说透视是把一维数据变成二多维数据逆透视是把二多维数据变成一维数据 神奇的拼接----实现很多意想不到的操作 这里对拼接不再赘述感兴趣的可以参考 PQ中的各种拼接 拼接的使用场景 1.多个相同数据的合并纵向 2.批量合并文件可以理解成1的应用 3.实现Excel中的vlookupxlookup等复杂映射横向 需要说明的是PQ实现的拼接比Excel更加强大和复杂类似于SQL中的内外联实际业务中引用很方便
