做类似淘宝网站怎么做,网站怎样才能在百度被搜索到,如何刷网站排名,开县做网站本文来自OceanBase 用户的实践分享 随着OceanBase数据库应用的日益深入#xff0c;数据量不断攀升#xff0c;单个表中存储数百万乃至数千万条数据的情况变得愈发普遍。因此#xff0c;部署专门的运维工具、实施针对性的表性能优化策略#xff0c;以及加强指标监测工作数据量不断攀升单个表中存储数百万乃至数千万条数据的情况变得愈发普遍。因此部署专门的运维工具、实施针对性的表性能优化策略以及加强指标监测工作都变得更为重要。以下为基于我们的使用场景所采取的一些部署和优化措施分享。 一、OCP部署升级
1OCP升级
14.2.1BP1升级到4.2.2本来以为毫无波澜但是下载完毕一键包并完成前期准备工作启动后发现无法登录OCP的服务器了后台查看日志发现提示需要更新一下admin用户的权限有小伙伴后续如果遇到密码正确就是无法通过监测的时候需要注意查看一下是不是提示admin账户权限不足使用echo admin ALL(ALL) NOPASSWD:ALL /etc/sudoers更新一下权限设置应该就好了。
2OCP升级进入系统以后系统自动更新ocpAgent代理工具但是这个版本跟4.2.1一样存在ocpAgent安装异常OCP升级服务于本服务在一个设备情况下ocpAgent会报stat /home/admin/ocp_agent/pkg_store/ocp-agent-ce-4.2.1-20231208144448.el7.x86_64.rpm: no such file or directory解决方案也比较简单直接复制这个文件到这个位置即可重试
3随后是升级OBProxy集群节点到最新版本一切都顺利完成后开始测试相关告警功能和测试新增的监控大盘功能和之前提交的UI错位等问题的解决情况测试后发现UI问题已经基本解决完毕发现了一处新的UI问题已经提交。
2ES部署及OCP接入
为了让日志能进行链路查询记录需要部署ES和OpenSearch使用docker按照官网教程部署了OpenSearch和ES并配置相关信息后重启OCP即可接入接口查看ES的记录情况发现均无异.配置地址https://www.oceanbase.com/docs/common-ocp-1000000000584788 二、警告配置和一些异常处置/性能优化
1部署完毕后第一个告警就是时间不同步但是我通过chrony测试发现一切正常ocpAgent查看监控数据NTP时钟便宜数据也是正常范围。
2将该问题以及相关日志提交到问答论坛后很快就有相关专业工程师解答并提出测试说明通过测试发现Debian系列系统存在clockdiff在sudo下权限不足的问题回复为已知问题正在修复。于是听取建议我将这个告警进行了屏蔽。
3性能异常警告当天晚上发现一个“SQL 巡检SQL 性能下降”的问题一早通过OCP查看后发现是一个SQL存在超过平均查询时间较多的情况的一个告警。但是点击SQLID无法跳转到SQL详细信息页面查看F12发现不存在该资源。
4黑屏问题定位通过黑屏模式查询[select svr_ip, plan_type, elapsed_time, AFFECTED_ROWS, RETURN_ROWS, tx_id, usec_to_time(REQUEST_TIME), substr(query_sql, 1, 10000) from gv$ob_sql_audit where sql_idB7A34188E00F96CA660B2D39A3968328 order by elapsed_time desc limit 10;]找到了对应ID的SQL情况使用该SQL到OCP对应租户的SQL诊断工具中搜索该SQL前部分关键词就获得了对应SQL请求信息。
5性能优化通过查看索引情况以及字形情况以及针对SQLID进行链路查询发现了部分字段没有命中索引以及根据优化建议发现索引建立不足以及表设计不合理的三个问题。针对索引问题重新建立了索引。针对表设计不合理主要体现在当前表单为超大型表数据量过千万但是没有进行分区设计也没有进行分段设计导致数据检索存在扫表情况于是针对当前表进行了功能拆分划分了历时数据和热数据历时数据清理到历史表并做分区处理热数据存留当前表保障当前业务。
6SQLID无法连接异常提交通过本次性能优化发现告警部分的SQLID无法被定位到SQL详情通过后续查询后发现URL的[/diagnosis/1/realtime/2]这个部分应该为对应的集群和租户在当前环境下位[/cluster/1/tenant/2]修改后即可定位到SQL详情发现该问题后就将相关问题通报到官方相关人员进行记录。
三、基于obdiag的一些集成化开发和畅想
1obdiag是一个敏捷测试工具是ob官方的一个有效的集群日志收集和巡检的工具在工作中可以提供异常建议以及指定脚本巡检等功能在我的日常工作中也充当着重要的伙伴角色。
2但是obdiag只有本地黑屏执行配置文件也比较麻烦且报告也是用符号构成的针对核心运维还好但是不可以进行任务分发到不同员工进行巡检基于该需求我们计划开发一套带权限管理支持多人巡检支持报告转换为Json并可视化的一套工具用于辅助多人运维的场景。
3目前实现
1已经完成报告的Json序列化实现通过Go语言已经完成了报告的解析工作
2数据结构 type Table struct {TableName stringColRows []TaskReport
}type TaskReport struct {Task stringTaskReport string
}
3报告解析 func parseTable(input string) ([]Table, error) {lines : strings.Split(input, \n)var table []Tablefor _, line : range lines {// 检查是否是表头行或分隔行if strings.HasPrefix(line, ) {continue}// 按分隔符 | 分割cols : strings.Split(line, |)if len(cols) 3 {continue // 如果不是数据行跳过}taskName : strings.TrimSpace(cols[1])taskReport : strings.TrimSpace(cols[2])// 如果是表名行创建一个新的表if taskReport {table append(table, Table{TableName: taskName,})continue}// 如果是表头行跳过if taskName task taskReport task_report {continue}// 将提取的数据添加到切片中table[len(table)-1].ColRows append(table[len(table)-1].ColRows, TaskReport{Task: taskName,TaskReport: taskReport,})}return table, nil
}
4通过上述方法我们成功实现了数据解析工作后续将结合gin框架等一些框架实现数据入库和可视化操作并实现可视化脚本以及可视化巡检执行和可视化报告解析。
5秉承着OB社区氛围建立本项目在完成基本功能后将全面开源到Github并在社区进行发布。
四、一些OceanBase的使用感想和未来期待
1OB是国产开源分布式数据库性能和部署以及开源社区氛围最好的选择这也是我们正式项目的选择在我们公司的CRM项目中已经稳定运行并使用了一年时间其中版本从3.xx升级到现在的4.2.1BP4每一次升级都能感受到团队的努力付出以及听取社区的各种建议意见。
2有浓厚的社区氛围才能使得一个开源产品能够有生命力才能催生企业产品有更多的价值相信OB在未来的道路上能越走越远。我们也愿意陪着OB一起成长为社区添砖加瓦贡献自己的力量和智慧。
3未来我们将引入更多系统接入到OB集群计划将ERP系统以及其他管理业务系统引入OB并优化集群建立方式加强闪存集群的建设以及加强OOS二次备份的规则利用多一次的机会保障系统稳定安全。
