做网站的数据库的选择,免费创建网站 优帮云,许昌长葛网站建设制作设计,asp.net 微信网站写在前面 听过很多道理#xff0c;却依然过不好这一生。 看过很多关于学习的技巧、方法#xff0c;却没应用到自己的学习中。 随着年纪变大#xff0c;记忆力越来越差#xff0c;整块的时间也越来越少#xff0c;于是#xff0c;越来越希望能够更高效的学习。学习是一种习…写在前面 听过很多道理却依然过不好这一生。 看过很多关于学习的技巧、方法却没应用到自己的学习中。 随着年纪变大记忆力越来越差整块的时间也越来越少于是越来越希望能够更高效的学习。学习是一种习惯也是一种能力这种能力在上学期间养成是最好的毕竟那个时候绝大部分时间都在学习。但很遗憾我没有养成适合自己的、好的学习习惯。工作之后除了在日常工作中用到的知识技术很难通过自学掌握新的知识偏向于专业知识即技术。而互联网行业的分支、知识点又是如此之多于是会出现这样的情况遇到一个新的知识觉得很厉害很感兴趣看两天但很快就忘记了。另外对于一些比较庞杂的技术又无从下手也很难坚持下去。 根本的问题在于学习不系统没有把一个个的知识点连接起来本来这些新的知识就很少在工作中实践如果又是一个个的信息孤岛很快就会被遗忘。另一个问题没有良好的规划今天看看这里明天看看哪里纠结于细枝末节忘了从整体上把握。 幸好差不多半年前开始意识到了这个问题开始看书看别人的博客开始思考如何充分利用好有限的时间。自己也实践了一些想法比如写博客坚持写博客。也有很多没做好比如如何学习掌握一门新技术。关于这一点其实看了许多文章也有很多印象深刻觉得很有道理也有一些好书比如《study morelearn less》。纸上得来终觉浅绝知此事要躬行别人的办法再好也需要亲身实践才知道是否对自己适用。 需要学习的技术很多要自学新知识也不是一件容易的事选择一个自己比较感兴趣的会是一个比较好的开端于是打算学一学分布式系统。 带着问题有目的的学习先了解整体架构在深入感兴趣的细节这是我的计划。 首先得有问题如果每日重复相同的工作也不主动去学习很难发现新的问题。不怕自己无知就怕不知道自己无知只有不断的学习才会发现更多未知的知识领域 带着问题出发 分布式要解决什么问题呢解决持久化数据太大单个节点的硬盘无法存储的问题解决运算量太大单个节点的内存、CPU无法处理的问题。解决这些问题有两种思路scale upscale out。前者就是提升单个节点的能力更大的磁盘更快的CPU定制的软硬件然而这意味着更高的价格而且再怎么scaleup 也是有上限的。后者就是把存储、计算任务分担到普通的机器上通过动态增加节点来应对数据量的增长但缺点是多个节点的管理、任务的调度比较麻烦这也是分布式系统研究和解决的问题。只有当数据量达到单机无法存储、处理的情况下才考虑分布式不然都是自找麻烦。 状态的维护比计算要难很多所谓状态就是需要持久化的数据。因此主要考虑分布式存储况且即使是分布式计算为了节省带宽需要尽量保证data locality也是需要分布式存储。 现在有一堆数据可能是结构化或者半结构化需要将数据分片segment、fragment、shard形成一个个的数据子集存储到一组物理节点上物理节点之间通过网络通信。那么需要考虑两个问题 第一数据如何划分; 第二数据的可靠性、可用性问题 数据分片 数据分片是指将数据子集尽可能均衡的划分到各个物理节点上。那么会有哪些挑战呢 1如果某个物理节点宕机如何将该物理节点负责的数据尽快的转移到其他物理节点 2如果新增了物理节点怎么从其他节点迁移数据到新节点 3对于可修改的数据即不是只能追加的数据比如数据库数据如果某节点数据量变大怎么将部分数据迁移到其他负载较小的节点及达到动态均衡的效果。 4元数据的管理问题当数据分布在各个节点那么当用户使用的时候需要知道具体的数据在哪一个节点上。因此系统需要维护数据的元数据即每一个数据所在的位置、状态等信息。当用户需要具体的数据时先查询元数据然后再去具体的节点上查询。当数据在节点之间迁移的时候也需要更新元数据。元数据的管理节点这里称之为meta server。元数据的管理也带来了新的挑战 4.1如何抽取数据的特征特征是分片的依据也是用户查询数据时的key或者支持用户自定义数据特征 4.2如何保证meta server的高性能和高可用是单点还是复制集 5分片的粒度即数据子集的大小也是数据迁移的基本单位。粒度过粗不利于数据均衡粒度过细管理、迁移成本又会比较大。 数据冗余 前面提到分布式系统中的节点都是普通的节点因此有一定的概率会出现物理故障比如断电、网络不可用这些故障导致数据的暂时不可用另外一些故障更严重会导致数据的丢失比如磁盘损坏。即使单个节点的故障是小概率当集群中的节点数目很多是故障就成为了一个大概率事件。因此保证数据的高可用和可靠性是分布式系统必须解决的问题。 为了避免单点故障可行的办法就是数据冗余复制集即将同一份数据放在不同的物理节点甚至是不同的数据中心。如果数据是一次写多次读那很好办随便从哪个副本读取都行。但对于很多分布式存储系统比如数据库数据是持续变化的有读有写。那么复制集会带来什么样的挑战呢需要如何权衡呢假设有三个副本 1三个副本的地位大家都是平等的还是有主primary、master有次secondary、slave如果是平等的那么每个节点都可以接收写操作如果不平等可以一个节点负责所有的写操作所有节点都提供读操作 2在平等的情况下怎么保证写入操作不冲突保证各个节点的数据是一致的怎么保证能读取到最新的数据 3不平等的情况下 3.1写节点怎么将变更的数据同步到其他节点同步还是异步 3.2非写节点能否提供读数据如果能够允许会不会读取到过时的数据。 3.3主节点是怎么产生的当主节点宕机的时候怎么选择出新的主节点。是有统一的复制集管理中心记录谁主谁次各自的状态还是复制集自己选举出一个主节点 4不管复制集内部的节点是平等的还是有集中式节点的只要有多个数据副本就需要考虑数据的一致性可用性问题。按照CAP理论只能同时满足一致性 可用性 分区容错性之间的二者不同的分布式系统需要权衡。 其他 分布式系统有自己的术语或者概念。在当前的这个时间点我对其中的一些有了解或者使用过另外一些只是听说过不甚了解当然还有更多的是不知道的是需要在后续的学习中去发现、去掌握的。 分片 副本 一致性哈希 幂等 CAP paxos raft NWR lease 两阶段提交协议 三阶段提交协议 拜占庭问题
