衡水网站建设集团,各大网站注册,上海网站建设排行,建设一个直播网站多少钱主从同步原理
主从同步结构#xff1a;主库负责写数据#xff0c;从库负责读数据#xff0c;如图—— MySQL主从复制的核心就是二进制日志#xff08;BINLOG#xff09;#xff0c;它记录了所有的 DDL#xff08;数据定义语言#xff09;语句和 DML#xff08;数据操…主从同步原理
主从同步结构主库负责写数据从库负责读数据如图—— MySQL主从复制的核心就是二进制日志BINLOG它记录了所有的 DDL数据定义语言语句和 DML数据操纵语言语句但不包括数据查询SELECT、SHOW语句。 具体的同步流程为当主库的数据发生变化会把操作语句写入到binlog的文件中从库的IOthread专门从主库的binlog中读取数据读取完成之后就会把数据写入到从库的中继日志Relay log中再由从库的SQLthread线程读取Relay log并执行里面的命令执行完成之后主库与从库的数据就会保持一致。
复制分成三步
Master 主库在事务提交时会把数据变更记录在二进制日志文件 Binlog 中。从库读取主库的二进制日志文件 Binlog 写入到从库的中继日志 Relay Log 。slave重做中继日志中的事件将改变反映它自己的数据。
分库分表
主从架构虽然可以让读写分开操作解决了分担了数据库的访问压力但是不能解决海量存储的问题。
分库分表的时机
前提项目业务数据逐渐增多或业务发展比较迅速在企业项目中单表的数据量达1000W或20G以后就需要进行分库分表优化已解决不了性能问题主从读写分离、查询索引…IO瓶颈磁盘IO、网络IO、CPU瓶颈聚合查询、连接数太多
分库分表——解决海量存储问题
拆分策略
垂直拆分 包括垂直分库和垂直分表 水平拆分 包括水平分库和水平分表 垂直分库 以表为依据根据业务将不同表拆分到不同库中。 特点
按业务对数据分级管理、维护、监控、扩展在高并发下提高磁盘IO和数据量连接数
垂直分库如图所示
垂直分表 以字段为依据根据字段属性将不同字段拆分到不同表中。 拆分规则
把不常用的字段单独放在一张表把textblob等大字段拆分出来放在附表中
特点
冷热数据分离经常被查询的数据称为热数据相反不常用的数据称为冷数据减少IO过渡争抢两表互不影响
垂直分表如图所示注意在实际应用中拆表不一定要在不同的库中进行拆分成两个表就行了 水平分库 将一个库的数据拆分到多个库中。 特点
解决了单库大数量高并发的性能瓶颈问题提高了系统的稳定性和可用性
水平分库如图所示 路由规则
根据id节点取模按id也就是范围路由节点1(1-100万 ),节点2(100万-200万)…
水平分表 将一个表的数据拆分到多个表中(可以在同一个库内)。 特点
优化单一表数据量过大而产生的性能问题;避免IO争抢并减少锁表的几率;
水平分表如图所示
新的问题和新的技术
分库之后的问题
分布式事务一致性问题跨节点关联查询跨节点分页、排序函数主键避重
分库分表中间件
sharding-spheremycat
使用分库分表中间件可以降低开发的难度解决分库分表之后可能会遇到的问题
总结——具体拆分策略
水平分库将一个库的数据拆分到多个库中解决海量数据存储和高并发的问题水平分表解决单表存储和性能的问题垂直分库根据业务进行拆分高并发下提高磁盘IO和网络连接数垂直分表冷热数据分离多表互不影响注意使用水平拆分策略时需要使用中间件sharding-sphere、mycat来避免分库之后可能遇到的问题。
