网站建设和运行管理办法,毕业设计团购网站建设,智能小程序官网,crm排名Bug地狱 #1 突然宕机#xff0c;企业级应用到底怎么了
背景
目前就职的企业经营是一家服务小微门店Saas企业#xff0c;以进销存管理和客户营销为主体提供订阅服务。项目正式上线可以说是从13年#xff0c;基础架构是Web和后端使用C# .net#xff0c;数据库使用SQL Serve…Bug地狱 #1 突然宕机企业级应用到底怎么了
背景
目前就职的企业经营是一家服务小微门店Saas企业以进销存管理和客户营销为主体提供订阅服务。项目正式上线可以说是从13年基础架构是Web和后端使用C# .net数据库使用SQL Server。这时公司业务正好遇到中国Saas的顶峰业务不断增长但是系统宕机的问题一直出现甚至周末节假日在户外也要oncall拿出电脑解决问题。
第一次重构 前后端分离
首先是将钱后端一体的代码机构换成前后端分离结构。技术栈仍然是.net。中间前端的技术栈在人员的流转中尝试使用react进行重构但是最终没有成功。但是部分的页面使用vue进行了重写使用iframe进行嵌入没有进行根治的前端重构。通过后端的分离和前端的重写系统的稳定性得到了提升但是仍然有很多的隐患直到今天这些问题暴露的出来出现了了更换架构也无法解决的问题这个后面再讲。
第二次重构 转换技术栈使用Java 微服务来了 好像好了起来
在我21年除选择入职这家公司其中最重要的就是我想要进入一家使用微服务的公司公司的服务器大约有70台约30个服务。
在18年左右公司进行了第二次重构转为使用java技术栈主要原因是架构师的选择与市场的供需关系市场上找不到那么多能够直接上手企业应用的工程师。这次重构的方式是通过.net后端转发请求到java微服务逐步将后端的功能使用java实现。前端没有进行彻底重构基于底层.net通过iframe嵌套vue的方式进行业务扩展。后端的技术栈使用Spring Cloud注册中心使用Consul各种中间件使用spring data相关的组件部分数据库迁移到Pgsql。
通过这次重构所有的后端业务基本上都转变为使用java实现系统的稳定性得到的提升没有了时时待命的情况偶尔出现重大问题基本上都是发生数据库的问题。
第三次重构 重构前端 正式使用vue
到了22年通过转为java的后端系统稳定了但是前端的用户体验和开发效率都很低而且随着业务的不断扩展重构必然要进行不然开发的节奏始终会被限制。前端使用qiankun 微前端进行重构按照业务模块区分子项目。后端部分也重写部分接口将前后端的职责进行明确区分同业务下接口的数据结构保持统一降低未来的代码维护成本。
此时公司还扩展了小程序商城的业务能力希望通过疫情的影响帮助更多的小微门店进行线上业务的拓展。小程序商城的技术栈使用uniapp。
危机出现
在第二次重构时公司的业务已经开始呈现缓慢增长但是系统压力和数据库的压力不断积累。人员减少业务增速导致始终成本大于利润再加上疫情对线下门店的影响。业务不断扩展代码里惊为天人的循环内远程方法调用数据库没有建立必要的索引这些问题导致了系统卡顿。最先建立的数据库包含了300多张数据表其中不乏上亿数据的表。少量的人员既要维护原有的代码又要兼顾业务扩展。数据量的上升导致数据库瓶颈主库压力过大导致服务雪崩一旦遇到大量的并发请求服务就会宕机。
系统仿佛脆弱不堪就像破了很多洞的巨轮。不管是工作日还是周末总是会通过客服人员反馈系统无法使用。
是时候要根治这个问题了要被迫开始建立监控系统寻找能够监控系统的中间件将本应该就具有完善的监控系统的服务变得完整起来。
补充一句基本没有代码单元测试直接将新写的代码上线通过check账号来进行测试。XD
未完待续建立监控系统寻找优化点。后面会讲到如何建立Promuetheus监控系统如何通过中间件监控sql如何查看线上某个具体接口的性能情况。
