为什么要先创建站点后建立文件?能否改变两者的顺序?,网站营销外包如何做,网站建设自适应网站,常州微网站建设文章目录单线程版本演化工作流程为什么逐渐又加入了多线程特性?影响Redis性能的主要因素-网络I/O多线程工作流程Unix网络编程中的五种I/O模型I/O多路复用工作原理#xff1a;select、poll、epoll为什么Redis快单线程与多线程的比较配置文件开启多线程单线程
版本演化 Re…
文章目录单线程版本演化工作流程为什么逐渐又加入了多线程特性?影响Redis性能的主要因素-网络I/O多线程工作流程Unix网络编程中的五种I/O模型I/O多路复用工作原理select、poll、epoll为什么Redis快单线程与多线程的比较配置文件开启多线程单线程
版本演化 Redis4之前都是单线程4之后才慢慢支持多线程知道6版本才稳定 Redis3.x单线程时代但性能依旧很快的主要原因 基于内存操作: Redis 的所有数据都存在内存中因此所有的运算都是内存级别的所以他的性能比较高;数据结构简单:Redis 的教据结构是专门设计的而这些简单的数据结构的查找和操作的时间大部分复杂度都是 0(1)因此性能比较高;多路复用和非明塞I/O:Reds使用I/O多路复用功能来监听多个socke连接客户端、这样就可以使用一个线程连接来处理多个请求、减少线程切换带来的开销同时也避免了I/O阻塞操作避免上下文切换:因为是单线程模型、因此就游免了不从要的上下文切换和多线程竞争、这就省去了多线程切换带来的时间和性能上的消耗而目单线程不会导致死锁问题的发生 Redis 4.0之前一直采用单线程的主要原因有以下三个 使用单线程模型是 Redis 的开发和维护更简单因为单线程模型方便开发和调试即使使用单线程模型也并发的处理多客户端的请求主要使用的是IO多路复用和非阻塞IO对于Redis系统来说主要的性能瓶颈是内存或者网络带宽而并非CPU。
工作流程 单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的Redis在处理客户端的请求时包括获取 (socket 读)、解析、执行、内容返回 (socket 写) 等都由一个顺序串行的主线程处理这就是所谓的“单线程”。这也是Redis对外提供键值存储服务的主要流程。 但Redis的其他功能比如持久化RDB、AOF、异步删除、集群数据同步等等其实是由额外的线程执行的。 Redis命令工作线程是单线程的但是整个Redis来说是多线程的 为什么逐渐又加入了多线程特性? 痛点问题-大key删除的头疼问题 正常情况下使用 del 指令可以很快的删除数据而当被删除的 key 是一个非常大的对象时例如时包含了成千上万个元素的 hash 集合时那么 del 指令就会造成 Redis 主线程卡顿。等待很久这个线程才会释放类似加了一个synchronized锁。 解决方案-惰性删除unlink key 在Redis4.0 中就新增了多线程的模块当然此版本中的多线程主要是为了解决删除数据效率比较低的问题的。 “Lazy Redis is better Redis” 而lazy free的本质就是把某些cost(主要时间复制度占用主线程cpu时间片)较高删除操作从redis主线程剥离让bio子线程来处理极大地减少主线阻塞时间。从而减少删除导致性能和稳定性问题。
影响Redis性能的主要因素-网络I/O 对于Redis主要的性能瓶颈是内存或者网络带宽而并非CPU CPU内存网络IO(最主要的)
多线程 随着网络硬件的性能提升Redis的性能瓶颈有时会出现在网络IO的处理上也就是说单个主线程处理网络请求的速度跟不上底层网络硬件的速度 采用多个IO线程来处理网络请求提高网络请求处理的并行度Redis6/7就是采用的这种方法。 但是Redis的多IO线程只是用来处理网络请求的对于读写操作命令Redis仍然使用单线程来处理。这是因为Redis处理请求时网络处理经常是瓶颈通过多个IO线程并行处理网络操作可以提升实例的整体处理性能。而继续使用单线程执行命令操作就不用为了保证Lua脚本、事务的原子性额外开发多线程互斥加锁机制了(不管加锁操作处理)这样一来Redis线程模型实现就简单了工作流程 阶段一: 服务端和客户端建立Socket连接并分配处理线程 首先主线程负责接收建立连接请求。当有客户端请求和实例建立Socket连接时主线程会创建和客户端的连接并把 Socket 放入全局等待队列中。紧接着主线程通过轮询方法把Socket连接分配给10线程. 阶段二:10线程读取并解析请求 主线程一旦把Socket分配给10线程就会进入阻塞状态等待10线程完成客户端请求读取和解析。因为有多个0线程在并行处理所以这个过程很快就可以完成。 阶段三:主线程执行请求操作 等到IO线程解析完请求主线程还是会以单线程的方式执行这些命令操作。 阶段四: 10线程回写Socket和主线程清空全局队列 当主线程执行完请求操作后会把需要返回的结果写入缓冲区然后主线程会阻塞等待10线程把这些结果回写到Socket中并返回给客户端。和I0线程读取和解析请求一样10线程回写Socket时也是有多个线程在并发执行所以回写Socket的速度也很快。等到10线程回写Socket完毕主线程会清空全局队列等待客户端的后续请求.
Unix网络编程中的五种I/O模型 Blocking I/O-阻塞I/O NoneBlocking I/O-非阻塞I/O I/O multiplexing-I/O多路复用 Linux世界一切皆文件 文件描述符 文件描述符File descriptor是计算机科学中的一个术语是一个用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一个非负整数。实际上它是一个索引值指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时内核向进程返回一个文件描述符。在程序设计中文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。 I/O多路复用定义 一种同步的I/O模型实现一个线程监视多个文件句柄一旦某个文件句柄就绪就能够通知到对应应用程序进行相应的读写操作没有文件句柄就绪时就会阻塞应用程序从而释放CPU资源 I/O:网络I/0尤其在操作系统层面指数据在内核态和用户态之间的读写操作 多路:多个客户端连接 (连接就是套接字描述符即 socket 或者 channel) 复用:复用一个或几个线程。 I/O多路复用 一个或一组线程处理多个TCP连接 使用单进程就能够实现同时处理多个客户端的连接 无需创建或者维护过多的进程/线程 一句话: 一个服务端进程可以同时处理多个套接字描述符。实现I/O多路复用的模型有3种: 可以分select-poll-epoll三个阶段来描述 signal driven I/O-信号驱动I/O asynchronous I/O-异步I/O
I/O多路复用工作原理select、poll、epoll 将用户socket对应的文件描述符(FileDescriptor)注册进epoll然后epoll帮你监听哪些socket上有消息到达这样就避免了大量的无用操作。此时的socket应该采用非阻塞模式。这样整个过程只在调用select、poll、epoll这些调用的时候才会阻塞收发客户消息是不会阻塞的整个进程或者线程就被充分利用起来这就是事件驱动所谓的reactor反应模式。 在单个线程通过记录跟踪每一个Sockek(I/O流)的状态来同时管理多个I/O流. 一个服务端进程可以同时处理多个套接字描述符。 有请求就响应没请求不打扰。 只使用一个服务端进程可以同时处理多个套接字描述符连接 为什么Redis快 内存操作数据结构简单IO多路复用epoll函数使用才是redis为什么这么快的直接原因而不是仅仅单线程命令redis安装在内存中。 单线程与多线程的比较 Redis工作线程是单线程的但是对于整个Redis来说是多线程的 从Redis6开始就新增了多线程的功能来提高 I/O 的读写性能他的主要实现思路是将主线程的 IO 读写任务拆分给一组独立的线程去执行这样就可以使多个 socket 的读写可以并行化了采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求尽量减少网络IO的时间消耗将最耗时的Socket的读取、请求解析、写入单独外包出去剩下的命令执行仍然由主线程串行执行并和内存的数据交互。 --- 配置文件开启多线程 如果你在实际应用中发现Redis实例的CPU开销不大但吞吐量却没有提升可以考虑使用Redis7的多线程机制加速网络处理进而提升实例的吞吐量 在Redis6.0及7后多线程机制默认是关闭的如果需要使用多线程功能需要在redis.conf中完成两个设置
