网站类网站建设,网站建设qinnet,医院网站建设要求,微信插件大全下载背景
每个公司应该都有大数据的平台的吧#xff0c;平台的作用就是可以在上面执行各种spark sql以及定时任务#xff0c;不过一般来说#xff0c;由于这些spark sql的上线不经过测试#xff0c;所以可能会影响到生产的数据#xff0c;这种情况下大数据平台提供一个上线前…背景
每个公司应该都有大数据的平台的吧平台的作用就是可以在上面执行各种spark sql以及定时任务不过一般来说由于这些spark sql的上线不经过测试所以可能会影响到生产的数据这种情况下大数据平台提供一个上线前的调试功能也就非常好了
spark sql上线前的调试工作
我们写spark sql主要是用来查询其他hive表的数据经过数据清洗等操作后写入自己的hive目标表但是我们hive的目标表也可能也在被别人使用所以当我们修改spark sql后应用到hive目标表的时候风险就极大一旦我们的hive目标表数据错误极有可能影响到下游的任务导致一连串的数据问题此时问题就来了我怎么在修改spark sql但是正式写到hive目标表之前先看一下数据
其实意识到这个问题后解决的方式就显得很简单了。我们可以在spark sql修改后但是上线之前的调试阶段把结果数据先写入一张临时的hive表等确认这张临时的hive表的数据是正确之后再正式上线这个修改的spark sql语句。那如何把hive目标表替换成临时的hive表呢其实对于spark sql来说也很简单我们只需要识别insert into 后面的hive目标表即可知道hive目标表后我们把它替换成临时hive表问题既可得到解决。
