建设银行积分网站,观光农业规划设计,淄博桓台学校网站建设哪家好,贵州省住房和城乡建设厅官方网站【Apache Doris】周FAQ集锦#xff1a;第 16 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目#xff01; 在这个栏目中#xff0c;每周将筛选社区反馈的热门问题和话题#xff0c;重点回答并进行深入探讨。旨在为广大用户… 【Apache Doris】周FAQ集锦第 16 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目 在这个栏目中每周将筛选社区反馈的热门问题和话题重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。 通过这个每周 FAQ 栏目希望帮助社区小伙伴更好地了解和应用 Apache Doris促进经验交流和技术共享。 SQL问题
❓Q1 hive catalog 查询时报
Wrong data type for colum xxxA1 通常是进行了schema change导致可以刷新或重建hive catalog重新查询。
❓Q2 doris的key是否可以创建主键索引 A2 doris中key是排序的在主键上的条件通常比较快不需要其它索引。
数据操作问题
❓Q3 compaction会影响集群性能 A3 如果是小批量写每次写的少会导致小版本比较多compaction 不是很理想对比直接使用 insert into select 写入一个大批量的数据相同的数据下可能insert into select 写完的表查询性能会快些因为一次 insert into 之后数据就是个大的版本了所以查询性能也会比较好。 Compaction 原理 | 实践全析可查阅 https://mp.weixin.qq.com/s/hb3DqVZdf8LyzE0OH1QvMA
❓Q4 export和select into outfile这两种将数据导出到本地文件的方式所生成的文件是否可以指定存放到任意一台be A4 目前暂不支持export和select into outfile指定导出至具体的服务器be。
❓Q5 ccr跨集群数据同步中binlog会不会占用太多空间是否需要限制它的大小 A5 ccr不会占用太多空间并且可以设置binlog的过期时间目前默认是一天。 CCR跨级群同步内容可查阅 https://doris.apache.org/zh-CN/docs/2.0/admin-manual/data-admin/ccr
运维常见问题
❓Q6 部署doris集群的be时服务器有多块磁盘使用lvm将多块磁盘组成一组pv、vg、lv挂载至一个目录下和单独将磁盘分区格式化挂载至多个目录在性能上有没有区别另外对于compaction而言lvm划分的磁盘compaction_task_num_per_disk会为每个物理磁盘分配多个task A6 如下
1. 直接分区格式化挂载多块磁盘到不同目录可以减少管理层级会减少I/O路径上的开销利于提高性能。
即少依赖一层会让系统简单稳定一些效率也会高并且doris会自动管理多盘包括负载均衡。
所以使用doris不需要用lvm、raid之类的操作。
2. lvm 挂盘之后compaction认为BE只有一个磁盘会按照一个磁盘分配task。
3. 任何系统和架构越简单越好。❓Q7 fe内存居高不下时如何排查 A7 如下
1. 观察profile是否是开启的如果开启的话全局关闭2. 导入任务多的话可能是label堆积可以修改label的保留时间
fe.conf
label_keep_max_second 14400;
streaming_label_keep_max_second 14400;3. 将FE JVM GC算法修改为G1CMS算法修改为G1 算法
# G1 JAVA OPTS
JAVA_OPTS-Djavax.security.auth.useSubjectCredsOnlyfalse -Xss4m -Xmx8192m -XX:UnlockExperimentalVMOptions -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:PrintGCDateStamps -XX:PrintGCDetails -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE -Dlog4j2.formatMsgNoLookupstrue
-Xmx改成一致的注意下CUR_DATE这个环境变量在老版本可能叫DATE4. 在内存较高时可以打个jmap看看哪些模块占用较多jmap -histo:live pid 1.jmp❓Q8 doris的fe/meta/image目录下多久会生成image.XX镜像文件 A8 同时满足两个条件
master 节点的日志条数达到阈值默认10w 条符合checkpoint线程执行周期默认六十秒
❓Q9 doris如何把测试库所有表发布到生产环境 A9 doris在0.15之后的版本已经支持通过 mysqldump 工具导出数据或者表结构。 mysql-dump内容可查阅 https://doris.apache.org/zh-CN/docs/2.0/data-operate/export/export-with-mysql-dump
其它问题
❓Q10 apache doris apachehudi 如何快速搭建
A10 湖仓一体Data Lakehouse融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中Apache Doris 持续加深与数据湖的融合已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南包括 Hudi、Iceberg、Paimon、OSS、Delta Lake、Kudu、BigQuery 等欢迎持续关注。 Apache Doris Apache Hudi 快速搭建指南 https://mp.weixin.qq.com/s/C2Bje0NrFVyhdQ80ak7nlg 一臻数据
关于社区 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库以极速易用的特点被人们所熟知仅需亚秒级响应时间即可返回海量数据下的查询结果不仅可以支持高并发的点查询场景也能支持高吞吐的复杂分析场景。 如果您对 Apache Doris 感兴趣可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组
官方文档
社区论坛
GitHub
dev邮件组devdoris.apache.org
非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧或者向dev邮件组提交反馈和意见。
相信您的参与将帮助Apache Doris变得更加完善。
