天河网站建设哪家强,注册网站域名需要什么,建设工程竣工规划局网站,邢台市路桥建设总公司网站博主希望能够得到大家的点赞收藏支持#xff01;非常感谢 点赞#xff0c;收藏是情分#xff0c;不点是本分。祝你身体健康#xff0c;事事顺心#xff01; Spark 通过 BulkLoad 方式传输到 HBase#xff0c;我发现会出现空指针异常。简单写下如何解决的。
原理#xf… 博主希望能够得到大家的点赞收藏支持非常感谢 点赞收藏是情分不点是本分。祝你身体健康事事顺心 Spark 通过 BulkLoad 方式传输到 HBase我发现会出现空指针异常。简单写下如何解决的。
原理首先简单介绍一下什么是 BulkLoadBulkLoad 是传输到 HBase 的一种传输方式不是直接在 HBase 里写入数据这会给HBase增加压力而是使用 MR/Spark 等先生成 HFile再批量加载到 HBase减少 HBase 压力。
问题我的 BulkLoad 数据传输任务突然报错了空指针异常。Serious ProblemNullPointerException
排查我开始以为是 rowkey 是 null或 rowkey 重复排查后发现都不是甚至数据都跟前一天一样而前一天的成功了今天的重试了也不行。
解决办法可能
-- 对所有可能的字段使用 coalesce 函数处理, 处理可能的 null 数据
coalesce(fielda, )可能是 BulkLoad 方式生成的 HFile 对空值的处理不够好会出现这种报错所以我们的方法就是解决可能出现的空值改为空字符串等。 最后我是及未来祝你变得更强
