昆明网站推广优化,突发 佛山出大事,如何建设钓鱼网站,北京市建设教育协会网站首页意向之外#xff0c;又清理之中 背景#xff1a;
StarRocks各方面碾压相同类型的数据库#xff0c;最近我们要从生成HIVE导历史数据#xff08;ORC格式#xff09;到StarRocks#xff0c;前期小测一下#xff0c;在测试是没问题#xff0c;上生产先导2个月的数据… 意向之外又清理之中 背景
StarRocks各方面碾压相同类型的数据库最近我们要从生成HIVE导历史数据ORC格式到StarRocks前期小测一下在测试是没问题上生产先导2个月的数据大概10T但是在测试过程中发现了一个问题。
LOAD LABEL test_db.label14
(DATA INFILE(hdfs://hdfs_host:hdfs_port/user/starrocks/data/input/example14.orc)INTO TABLE table14FORMAT AS orc(col1, col2, col3)
)
WITH BROKER
(username hdfs_username,password hdfs_password
);问题
type:LOAD_RUN_FAIL; msg:Column: s_customer is not found in file: hdfs://xxx.xx.xx.x:9000/user/starrocks/data/input/example14.orc很明显的问题在源数据文件中没找到这个字段想了想历史数据以orc格式存在HDFSorc列式存储如果表结构修改块里面的数据schema是不变化的当StarRocks解析源文件块的时候是找不到该字段的自然要报错了 而我们的业务对表结构是按需增加表字段所以这个问题不可避免。
如何解决
当用户有新增字段操作的时候实际上我们维护了字段和表结构关系一张表每增加一个或者多个字段都有相应的创建时间那么我们用broker load导入数据的时候需要查一次数据库这样的话关系就建立起来了问题也解决了。
暂时没找到可以通过设置StarRocks参数来避免遇到的这个问题的。如果有请告诉我谢谢。
