东莞公司网站建设小知识,网站空间域名一次性收费还是一年一算,网站开发创新点,线上营销的优势和劣势keepalivedLVS配置详解keepalived简介keepalived的应用场景keepalived工作原理VRRP协议核心组件分层工作工作状态LVS简介LVS三种模式NAT模式(网络地址映射)IPTUN模式(IP隧道)DR模式(直接路由)三种模式对比keepalivedLVS配置1.master配置2. keepalived配置文件3 修改keepalived配…
keepalivedLVS配置详解keepalived简介keepalived的应用场景keepalived工作原理VRRP协议核心组件分层工作工作状态LVS简介LVS三种模式NAT模式(网络地址映射)IPTUN模式(IP隧道)DR模式(直接路由)三种模式对比keepalivedLVS配置1.master配置2. keepalived配置文件3 修改keepalived配置文件3.1配置VIP3.2 配置负载均衡策略4 配置web01节点(192.168.182.132)4.1 安装httpd服务4.2 调整proc响应参数4.3 设置路由web02的操作和上面web01一样测试keepalived简介
Keepalived的作用是检测服务器的状态如果有一台web服务器宕机或工作出现故障Keepalived将检测到并将有故障的服务器从系统中剔除同时使用其他服务器代替该服务器的工作当服务器工作正常后Keepalived自动将服务器加入到服务器群中这些工作全部自动完成不需要人工干涉需要人工做的只是修复故障的服务器。
Keepalived软件起初是专为LVS负载均衡软件设计的用来管理并监控LVS集群系统中各个服务节点的状态后来又加入了可以实现高可用的VRRP功能。因此Keepalived除了能够管理LVS软件外还可以作为其他服务例如Nginx、Haproxy、MySQL等的高可用解决方案软件。
Keepalived软件主要是通过VRRP协议实现高可用功能的。VRRP全名Virtual Route RedundancyProtocol(虚拟路由冗余协议)VRRP出现的目的就是为了解决静态路由单点故障问题它能够保证当个别节点宕机时整个网络可以不间断地运行所以keepalived 一方面具有配置管理LVS的功能同时还具有对LVS下面节点进行健康检查的功能另一方面也可实现系统网络服务的高可用功能。
keepalived的应用场景
管理LVS软件基于VRRP实现高可用健康检查故障切换 keepalived官网地址 通过官网介绍我们可以得知keepalived提供的两个重要的功能loadbalancing和high-availability。最初是专门为了LVS负载均衡软件设计的可以用来管理并监控LVS集群系统中各个服务节点的状态后来的版本中又加入了可以实现高可用的VRRP功能。
keepalived主要有两种应用场景一个是通过配置keepalived结合ipvs做到负载均衡(LVSKeepalived)另一个是通过自身健康检查、资源接管等功能做高可用(双机热备)实现故障转移功能近似于Heartbeat。
keepalived工作原理
VRRP协议
keepalived是以VRRP协议为实现基础的VRRP全称Vritual Router Redundancy Protocol即虚拟路由冗余协议可以认为是实现路由器高可用的协议。
VRRP是用来实现路由器冗余的协议。VRRP协议是为了消除在静态缺省路由环境下路由器单点故障引起的网络失效而设计的主备模式的协议使得发生故障而进行设计设备功能切换时可以不影响内外数据通信不需要再修改内部网络的网络参数。VRRP协议需要具备有IP备份优先路由选择减少不必要的路由器通信等功能。VRRP协议将两台或多台路由器虚拟成一个设备对外提供虚拟路由器IP(一个或多个)。然而在路由器组内部如果实际拥有这个对外IP的路由器如果工作正常的话就是master或者是通过算法选举产生的master实现针对虚拟路由器IP的各种网络功能如ARP请求ICMP以及数据的转发等其他设备不具有该IP状态时backup。除了接收master的VRRP状态通告信息外不执行对外的网络功能当主机失效时backup将接管原先master的网络功能。VRRP协议配置时需要配置每个路由器的虚拟路由ID(VRID)和优先权值使用VRID将路由器进行分组具有相同VRID值的路由器为同一个组VRID是一个0-255的整整数同一个组中的路由器通过使用优先权值来选举MASTER。优先权大者为MASTER优先权也是一个0-255的正整数。 在高可用场景就是把路由器换成服务器或者服务器上的应用:
通常情况下是将两台linux服务器组成一个热备组(master-backup)同一时间热备组内只有一台主服务器master提供服务同时master会虚拟出一个共用IP地址VIP这个VIP只存在master上并对外提供服务。
如果keepalived检测到master宕机或服务故障备服务器(backup)会自动接管VIP成为masterkeepalived并将master从热备组移除当master恢复后会自动加入到热备组默认再抢占成为master起到故障转移功能。
核心组件
keepalived是模块化设计不同模块负责不同的功能主要有三个模块分别是core、check和VRRP。
core模块为keepalived的核心组件负责住进程启动、维护以及全局配置文件的加载和解析check模块负责健康检查包括常见的各种检查方式这里的配置决定了工作在哪个层;VRRP模块是实现VRRP协议的。
此外还有
system call系统调用watch dog监控check和vrrp进程的看管者libipfwciptables(ipchains)库配置LVS会用到libipvs*配置LVS时会用到
分层工作
keepalived做负载均衡时工作在TCP/IP协议的3/4/5层做高可用时工作在OSI七层模型的3/4/7层基本上一样的。
分层功能相关协议应用层网络服务和最终用户的一个接口TFTP,HTTP,SNMP,DNS,FTP,SMTP,TELNET表示层数据的表示、安全、压缩无协议会话层会话的建立、管理、中止无协议传输层定义传输数据的协议端口号以及流程和差错校验TCP,UDP网络层进行逻辑地址寻址实现不同网络之间的路径选择IP,ICMP,RIP,OSPF,BGP,IGMP数据链路层建立逻辑连接、硬件地址寻址、差错校验等功能SLIP,CSLIP,PPP,ARP,RARP,MTU物理层建立、连接、断开物理连接ISO2110,IEEE802,IEEE802.2
具体工作层数区别于使用的哪一个网络协议来进行的健康检查
Layer3工作在三层时keepalived会定期向热备组中的服务器发送一个ICMP数据包来判断某台服务器是否故障如果没有响应则将这台服务器从热备组移除。
Layer4工作在四层时keepalived以TCP端口的状态判断服务器是否故障比如MySQL的3306端口如果无法访问则将这台服务器从热备组移除。
Layer7工作在七层时keepalived根据用户设定的策略判断服务器上的程序是否正常运行比如HTTP请求的方式如果返回错误状态码则将这台服务器从热备组移除。
在Keepalived服务器群之间只有作为主的服务器不断发送VRRP广播包告诉备它还活着此时备不会抢占主只有当主不可用既备接受不到主的VRRP广播包这时候备就会启动相关的服务接管主的任务向外提供服务以保证服务的正常使用。
工作状态
keepalived正常启动的时候共启动3个进程 一个父进程负责监控其子进程一个时VRRP子进程另外一个是checkers子进程两个子进程都被系统watchlog看管Healthcheck子进程检查各自服务器的健康状况。如果healthchecks进程检查到master上服务不可用了就会通知本机上的VRRP子进程让他删除通告兵器去掉虚拟IP转换为BACKUP状态。
LVS简介
LVS官网 LVS中文站点 LVS 是 Linux Virtual Server 的简写即Linux虚拟服务器是一个虚拟的服务器集群系统是根据iptables的实现来开发的所以使用时会和iptables相似。
LVS三种模式
NAT模式(网络地址映射)
NAT模式工作原理是客户端访问LVS时LVS通过重写请求报文的目标地址且根据预设的调度算法将请求分派给后端真实服务器真实服务器接收到请求处理后发出响应报文也需要通过LVS返回返回时需要修改报文的源地址然后返回给客户完成整个负载调度过程
DNAT目标地址转换改变的是目标地址SNAT源地址转换改变的是源地址
NAT 模式就是使用 SNAT 和 DNAT 技术完成报的转发NAT 方式可支持任何的操作系统以及私有网络并且只需一个 Internet IP 地址非常节省成本但是整个系统的性能受到限制。因为执行 NAT 每次需要重写数据包有一定的延迟另外大部分应用有 80%的数据是从服务器流向客户机也就是用户的请求非常短而服务器的回应非常大对LVS形成很大压力容易成为瓶颈
IPTUN模式(IP隧道)
IP TUN当LVS分配请求到不同的 real serverreal server 处理请求后直接回应给用户这样 LVS 仅处理客户机与服务器的一半连接。IP TUN 技术极大地提高了 LVS 的调度处理能力同时也极大地提高了系统能容纳的最大节点数可以超过 100 个节点。real server 可以在任何 LAN 或 WAN 上运行这意味着允许地理上的分布这在灾难恢复中有重要意义。但此模式要求所有服务器必须支持 IP 隧道协议因此只能在 linux 下使用在 windows 无法使用。
DR模式(直接路由)
DR与 IP TUN 类似负载均衡器仅处理一半的连接避免了新的性能瓶颈同样增加了系统的可伸缩性DR 与 IP TUN 相比没有 IP 封装的开销但由于采用物理层修改 MAC地址技术所有服务器都必须在同一个局域网
DR和IP TUN区别 DR和IP TUN相比没有IP封装的开销但由于采用数据链路层(修改MAV地址)技术所有服务器都必须在一个物理网段
三种模式对比
NAT模式IP TUN模式DR模式对服务器要求任何操做系统都支持必须支持IP隧道协议目前只有Linux支持网络要求局域网局域网或广域网支持的节点数10-20个据Diretor处理能力而定可以支持100个节点安全性较高可以隐藏real server较差real server容易暴露IP要求仅需要一个合法IP地址作为VIP除VIP外每个服务器需要拥有合法IP地址可以直接路由至客户端拓展性差优特点地址转换封装IP地址
keepalivedLVS配置
环境说明:
系统版本软件版本节点名称节点IP地址centos7.9keepalived-2.2.7、LVS-1.27master192.168.182.130centos7.9keepalived-2.2.7、LVS-1.27backup192.168.182.131centos7.9httpd不同发行版本httpd版本也不同web01192.168.182.132centos7.9httpd不同发行版本httpd版本也不同web02192.168.182.133
1.master配置
// 安装前的准备工作
[rootmaster ~]# systemctl disable --now firewalld //关闭防火墙
[rootmaster ~]# setenforce 0 //关闭selinux
[rootmaster ~]# head -7 /etc/selinux/config # This file controls the state of SELinux on the system.
# SELINUX can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUXdisabled //改为disabled[rootmaster opt]# wget https://www.keepalived.org/software/keepalived-2.2.7.tar.gz //下载keepalived[rootmaster opt]# tar -zxf keepalived-2.2.7.tar.gz -C /usr/local/ //这里我解压到/usr/local 目录下各位根据自己需求进行解压[rootmaster keepalived-2.2.7]# pwd
/usr/local/keepalived-2.2.7
[rootmaster keepalived-2.2.7]# yum -y install gcc openssl-devel libnl3-devel //解决依赖问题
[rootmaster ~]# modprobe ip_vs //加载ip_vs模块
[rootmaster ~]# modprobe ip_vs
[rootmaster ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size4096)
Prot LocalAddress:Port Scheduler Flags- RemoteAddress:Port Forward Weight ActiveConn InActConn[rootmaster ~]# vim /etc/sysctl.conf //调整proc响应参数并关闭linux内核重定向参数添加下面内容
net.ipv4.conf.all.send_redirects 0
net.ipv4.conf.default.send_redirects 0
net.ipv4.conf.ens33.send_redirects 0
net.ipv4.ip_forward 1
[rootmaster ~]# sysctl -p //加载使其生效// 编译安装keepalived
[rootmaster keepalived-2.2.7]# ./configure --prefix/usr/local/keepalived
[rootmaster keepalived-2.2.7]# make make install// 启动keepalived
[rootmaster keepalived]# pwd
/usr/local/keepalived/etc/keepalived
[rootmaster keepalived]# cp keepalived.conf.sample keepalived.conf //因为没有keepalived配置文件并且没有配置文件keepalived是启动不了的所以需要我们自己copy一个配置文件
[rootmaster keepalived]# cp keepalived.conf keepalived.conf-bak //做一个备份这一步可做可不做
// 完成上面的步骤依旧启动不了还需要做以下步骤
[rootmaster keepalived]# mkdir /etc/keepalived/
[rootmaster keepalived]# ln -s /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
[rootmaster keepalived]# vim keepalived.conf
interface ens33 //找到21行将eth0改为ens33这里的网卡名根据自己的网卡名来修改
[rootmaster keepalived]# systemctl enable --now keepalived //这样就可以启动keepalived了。// 安装LVS
[rootmaster keepalived]# yum -y install ipvsadm // 在第一次启动LVS时可能会出现报错解决措施如下
[rootmaster keepalived]# systemctl cat ipvsadm.service
# /usr/lib/systemd/system/ipvsadm.service
[Unit]
DescriptionInitialise the Linux Virtual Server
Aftersyslog.target network.target[Service]
Typeoneshot
ExecStart/bin/bash -c exec /sbin/ipvsadm-restore /etc/sysconfig/ipvsadm //我们可以看到LVS启动依赖etc下的ipvsadm这个文件但是这个文件恰恰没有。
ExecStop/bin/bash -c exec /sbin/ipvsadm-save -n /etc/sysconfig/ipvsadm
ExecStop/sbin/ipvsadm -C
RemainAfterExityes[Install]
WantedBymulti-user.target
[rootmaster keepalived]# touch /etc/sysconfig/ipvsadm //创建完成之后百年可重新启动了。
[rootmaster keepalived]# systemctl enable --now ipvsadm2. keepalived配置文件
配置文件分为: 全局配置、VRRP配置、LVS配置 配置文件又包括以下模块
LOBAL CONFIGURATIONBFO CONFIGURATIONVRRP CONFIGURATIONLVS CONFIGURATION
! Configuration File for keepalivedglobal_defs { //全局定义部分notification_email { //设置报警邮件地址可设置多个acassenfirewall.loc //接收通知邮件的地址failoverfirewall.locsysadminfirewall.loc}notification_email_from Alexandre.Cassenfirewall.loc //设置发送邮件通知地址smtp_server 192.168.200.1 //设置 smtp server 地址可以ip或域名可选端口号(默认是25)smtp_connect_timeout 30 //设置连接 smtp server超时时间router_id LVS_DEVEL //主机标识用于邮件通知vrrp_skip_check_adv_addrvrrp_strict //严格执行VRRP协议规范此模式不支持节点单播vrrp_garp_interval 0vrrp_gna_interval 0script_user keepalived_script //指定运行脚本的用户名和组。默认使用用户的默认组。如未指定默认为keepalived_script 用户如无此用户则使用root。enable_script_security //如果路径为非root可写不要配置脚本为root用户执行。
}vrrp_instance VI_1 { //VRRP实例部分定义VI_1自定义的名称state MASTER // 指定keepalived的角色必须大写可选值为MASTER|BACKUPinterface eth0 //网卡设置lvs需要绑定在网卡上realserver绑定在回环口。区别lvs对访问为外realserver为内不易暴露本机信息virtual_router_id 51 // 虚拟路由标识是一个数字同一个vrrp 实例使用唯一的标识MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识必须保持一致priority 100 // 定义优先级数字越大优先级越高advert_int 1 // 设定 MASTER 与 BACKUP 负载均衡之间同步检查的时间间隔单位为秒两个节点设置必须一样authentication { //设置验证类型和密码两个节点必须一致auth_type PASSauth_pass 1111}virtual_ipaddress { //设置虚拟IP地址可以设置多个192.168.200.16192.168.200.17192.168.200.18track_script { // 脚本监控状态chk_nginx_service // 可加权重但会覆盖声明的脚本权重值chk_nginx_service weight -20}notify_master “写脚本的绝对路径” //当前节点成为master时通知脚本执行此脚本notify_backup “写脚本的绝对路径” //当前节点成为master时通知脚本执行此脚本notify_fault “写脚本绝对路径” //当前节点出现故障时执行此脚本}
}virtual_server 192.168.200.100 443 { // 定义RealServer对应的VIP及服务端口IP和端口之间用空格隔开delay_loop 6 // 每隔6秒查询realserver状态lb_algo rr // 后端调试算法(load balancing algorithm)lb_kind NAT //LVS调度类型NAT/DR/TUNpersistence_timeout 50 // 同一IP的连接60秒内被分配到同一台realserverprotocol TCP // 用TCP协议检查realserver状态real_server 192.168.201.100 443 {weight 1 //权重值越大优先级越高优先级越大lvs就越优先访问SSL_GET { // keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISCurl {path /digest ff20ad2481f97b1754ef3e12ecd3a9cc}url {path /mrtg/digest 9b3a0c85a887a256d6939da88aabd8cd}connect_timeout 3 3秒无响应为超时retry 3 //重连次数delay_before_retry 3 //重连间隔时间connect_port 80 //健康检查realserver的端口}}
}
3 修改keepalived配置文件
[rootmaster ~]# vim /etc/keepalived/keepalived.conf
router_id LVS_01 //修改此行指定服务器名称主备服务器名称须不同这里我修改为LVS_01
!vrrp_strict //注释掉此行内容
state MASTER //指定热备状态主就改为MASTER,备就为BACKUP
interface ens33 //网卡名也要和自己的网卡名匹配
virtual_router_id 51
nopreempt //设置为非抢占模式就是MASTER挂了之后BACKUP就不会去替代如果想设置可以加上此行这里我们不加virtual_ipaddress { //指定集群的VIP192.168.182.100
virtual_server 192.168.182.100 80 { //指定虚拟服务器地址(VIP)、端口号定义虚拟服务器和web服务器
delay_loop 6 //健康检查时间间隔就是每隔6秒检查MASTER是否存活
lb_algo rr //指定调度算法轮询(rr)
protocol TCP //应用服务使用的是tcp协议
persistence_timeout 0 //连接保持时间默认是秒
real_server 192.168.182.132 80 { //第一个web服务器的ip加端口号weight 1 节点权重TCP_CHECK { connect_port 80 //检查目标端口connect_timeout 3 //添加连接超时nb_get_retry 3 //添加重试次数!retry 3 delay_before_retry 3 //添加重试间隔}}real_server 192.168.182.133 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}[rootmaster ~]# systemctl restart keepalived.service //修改完之后重启keepalived3.1配置VIP
[rootmaster ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 //添加下面两行内容结即可
IPADDR1192.168.182.100 //VIP地址
NETMASK1255.255.255.255 //VIP的子网掩码
[rootmaster ~]# systemctl restart network //重启网卡服务[rootmaster ~]# ip a
1: lo: LOOPBACK,UP,LOWER_UP mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00inet 127.0.0.1/8 scope host lovalid_lft forever preferred_lft foreverinet6 ::1/128 scope host valid_lft forever preferred_lft forever
2: ens33: BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UP group default qlen 1000link/ether 00:0c:29:95:56:2e brd ff:ff:ff:ff:ff:ffinet 192.168.182.130/24 brd 192.168.182.255 scope global noprefixroute ens33valid_lft forever preferred_lft foreverinet 192.168.182.100/32 scope global ens33 //这里就是我们刚才添加的VIP3.2 配置负载均衡策略
[rootmaster ~]# ipvsadm-save /etc/sysconfig/ipvsadm //这条命令是用来保存负载分配策略的
[rootmaster ~]# ipvsadm -C //此命令是用来清空分配策略的
[rootmaster ~]# ipvsadm -A -t 192.168.182.100:80 -s rr //A表示的是添加虚拟服务器t是指定VIP和端口号s是指定算法rr表示的是轮询算法
[rootmaster ~]# ipvsadm -a -t 192.168.182.100:80 -r 192.168.182.132:80 -g //a是添加真实服务器地址r指定RIP以及端口号RIP也就是后端服务器ip地址g表示的是DR模式
[rootmaster ~]# ipvsadm -a -t 192.168.182.100:80 -r 192.168.182.133:80 -g //132和133分别是web01和02[rootmaster ~]# ipvsadm -ln //查看节点状态
IP Virtual Server version 1.2.1 (size4096)
Prot LocalAddress:Port Scheduler Flags- RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.182.100:80 rr
TCP 10.10.10.2:1358 rr persistent 50- 192.168.200.200:1358 Masq 1 0 0backup也就是192.168.182.131的配置和上面的步骤一样除以下地方不同之外其他都一样
[rootbackup ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects 0
net.ipv4.conf.default.send_redirects 0
net.ipv4.conf.ens33.send_redirects 0keepalived配置文件中根据你BACKUP进行修改
router_id LVS_02
state BACKUP
priority 90 //优先级要比主上面小4 配置web01节点(192.168.182.132)
// 关闭防火墙和selinux
[rootweb01 ~]# systemctl disable --now firewalld
[rootweb01 ~]# setenforce 0
[rootweb01 ~]# head -7 /etc/sysconfig/selinux # This file controls the state of SELinux on the system.
# SELINUX can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUXdisabled4.1 安装httpd服务
[rootweb01 ~]# yum -y install httpd
[rootweb01 ~]# systemctl enable --now httpd //设置开机自启
[rootweb01 ~]# touch /var/www/html/index.html
[rootweb01 ~]# vim /var/www/html/index.html
marqueefont colorblueh1this is web01marquee
[rootweb01 ~]# systemctl restart httpd[rootweb01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo
DEVICElo:1
IPADDR1192.168.182.100
NETMASK1255.255.255.255
[rootweb01 ~]# systemctl restart network
[rootweb01 ~]# ifup lo:1 //开启网卡
没有ifconfig命令解决措施
[rootweb01 ~]# yum -y install net-tools
[rootweb01 ~]# ifconfig lo:1 //查看lo:1网卡
lo:1: flags73UP,LOOPBACK,RUNNING mtu 65536inet 192.168.182.100 netmask 255.255.255.255loop txqueuelen 1000 (Local Loopback)4.2 调整proc响应参数
[rootweb01 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore 1
net.ipv4.conf.all.arp_announce 2
net.ipv4.conf.default.arp_ignore 1
net.ipv4.conf.default.arp_announce 2
net.ipv4.conf.lo.arp_ignore 1
net.ipv4.conf.lo.arp_announce 2
[rootweb01 ~]# sysctl -p 4.3 设置路由
[rootweb01 ~]# route add -host 192.168.182.100 dev lo:1
[rootweb01 ~]# route -nweb02的操作和上面web01一样
测试 关闭master上的keepalived
[rootmaster keepalived]# systemctl stop keepalived.service
