珠海高端网站开发,建立网站数据库实验报告,网络营销课程感悟,给钱做h事都行的网站名HAProxy是一种免费、快速、可靠的反向代理#xff0c;为基于TCP和HTTP的应用程序提供高可用性、负载平衡和代理#xff0c;它非常适合应用在高并发大流量的网站上。这些年来#xff0c;HAProxy已成为事实上的标准开源负载均衡#xff0c;目前HAProxy已与大多数主流Linux发行… HAProxy是一种免费、快速、可靠的反向代理为基于TCP和HTTP的应用程序提供高可用性、负载平衡和代理它非常适合应用在高并发大流量的网站上。这些年来HAProxy已成为事实上的标准开源负载均衡目前HAProxy已与大多数主流Linux发行版一起提供很多云平台也默认集成了HAProxy。 LVS、Nginx、HAProxy是常用的三款负载均衡网上有很多三种负载均衡详细的对比文章下面一句话总结LVS、Nginx、HAProxy的优缺点
LVS工作在OSI七层协议模型的第四层传输层上简单、稳定、性能最强但可配置性逊于其他两种不支持正则处理不能做动静分离不支持URL和目录转发。HAProxy工作在OSI七层协议模型的第四层传输层和第七层应用层上性能强但不如Lvs但是配置比Lvs灵活支持URL和目录转发单不能作为web服务器。Nginx工作在OSI七层协议模型的第七层应用层上三种负载均衡软件Nginx配置最为简单灵活但性能最差可作为web服务器使用。 综合各方面的优缺点考虑我们选择使用HAproxyKeepalived作为负载均衡配置Nginx作为前端静态页面Web服务器的架构使用。HAProxy的偶数发行版本为稳定且长期支持版本追求系统极端稳定性的用户可以选择这个版本目前2023年08月09日最新发布版本为 HAProxy 2.8.2 release我们将在环境上部署并配置这个版本。
一、 HAProxyKeepalived高可用负载均衡集群安装配置 通常我们把Keepalived和HAProxy一起使用来实现Web服务器的高可用性和负载平衡。Keepalived是一个用C编写的路由软件它使用虚拟路由冗余协议VRRP和健康检查机制的组合来确定服务器的状态并在需要时触发故障转移。VRRP确保只有一个服务器在任何给定时间内 actively 响应请求而健康检查则监视服务器的健康状态并在主服务器失败时触发选举过程。
Keepalived的作用Keepalived负责管理虚拟IPVIP并确保高可用性。它监控服务器的健康状况如果主服务器主服务器出现故障或无响应Keepalive会触发到备份服务器从服务器的故障转移。在故障转移过程中Keepalived会更新VIP以指向备份服务器从而无缝地将流量重定向到备份服务器。HAProxy的作用HAProxy是一款功能强大且可靠的负载均衡器可跨多个服务器分配传入流量。它充当反向代理接收来自客户端的请求并将其转发到适当的后端服务器。HAProxy的主要功能是平衡服务器之间的负载确保最佳性能和可用性。
1. 集群服务器规划配置
VIP虚拟IP192.168.1.200主节点服务器HAProxy-01192.168.1.210备节点服务器HAProxy-02192.168.1.195 关闭SELinux尽管SELinux可以增强生产服务器的安全性它是为每个软件配置控制权限使用它的前提是必须详细了解每个需要部署的软件并为它配置。很多国内云服务器默认安装的Linux环境也是禁用SELinux否则在安装部署时会有很多问题。
# 首先临时关闭SELinux
setenforce 0
# 修改配置文件永久关闭SELinux
vi /etc/sysconfig/selinux
# 设置
SELINUXdisabled2. Keepalived安装配置 VIP虚拟IP有两种实现方式一种是直接配置Linux服务器网络还有一种是使用Keepalived我们这里直接使用Keepalived的方式来实现。在实际部署中发现如果多网卡时不同的虚拟IP绑定在同一网卡在虚拟IP切换时会发生无法访问的情况所以尽量将虚拟IP设置为统一网段绑定在同一网卡。
a. Keepalived软件安装步骤
查看 keepalived 软件包 yum list keepalived二选一使用 yum 方式安装软件包因为yum 源的原因无法安装最新稳定版本根据自己需要进行选择。
yum install -y keepalived二选一使用源码包安装因为yum源的原因默认安装的版本是1.3.5而最新版是2.2.8我们为了使用最新版所以这里使用编译源码的方式安装。
# 安装编译源码所需依赖
yum -y install gcc openssl-devel libnl3-devel ipset-devel iptables-devel libnfnetlink-devel net-snmp-devel glib2-devel
# 下载源码包
wget https://www.keepalived.org/software/keepalived-2.2.8.tar.gz
# 解压源码包
tar zxvf keepalived-2.2.8.tar.gz
# 编译源码包
cd keepalived-2.2.8
./configure --prefix/
make make install
# 从解压的源码包中将开机启动文件复制到/etc/rc.d/init.d/
cp /opt/software/keepalived-2.2.8/keepalived/etc/init.d/keepalived /etc/rc.d/init.d/
# 给keepalived赋权限/etc/init.d/是/etc/rc.d/init.d/的软链接
chmod x /etc/init.d/keepalived
# 设置开机启动
echo /etc/init.d/keepalived start /etc/rc.localb. 安装邮件通知服务 在生产环境中高可用服务的状态变化需要及时通知系统管理员以保障管理员及时处理服务故障使服务正常运行。Keepalived提供notification_email、smtp_server等邮件发送配置但是它不支持SMTP身份验证也不支持SMTP的TLS它是使用HELO且不使用身份验证的RFC821实现所以Keepalived没有配置邮件服务器用户名、密码的方法导致无法使用外部邮箱服务器所以这里选择网上大多数方法编写脚本当Keepalived状态切换时调用Linux系统的mailxmailx是一个命令行邮件客户端进行邮件发送。
查看Linux是否已经安装mailx如果显示no mailx in…则表示没有安装可以通过yum命令安装
[rootlocalhost /]# which mailx
/usr/bin/which: no mailx in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/java/bin:/root/bin)安装邮件服务的yum命令
yum install mailx -y在mail.rc文件中配置邮箱发送账号和密码有些邮箱的密码是单独的授权码这个根据自己的邮箱来获取。
vi /etc/mail.rc
# 一下内容加在mail.rc文件底部
set fromxxxxxxxxxxx163.com
set smtpsmtp.163.com
set smtp-auth-userxxxxxxxx163.com
set smtp-auth-password密码
set smtp-authlogin
set ssl-verifyignore通过命令行测试是否能够发送邮件
echo 虚拟IP发生浮动请及时处理。 | mail -s Keepalived告警邮件 gitegggitegg.com编写邮件发送脚本keepalived_notify.sh
vi /etc/keepalived/keepalived_notify.shkeepalived_notify.sh内容如下
# 填写一下内容
#!/bin/bash
mailto收件人邮箱1,收件人邮箱2
notify() {mailsubject【Keepalived状态切换告警邮件】$(hostname) 状态切换为 $1mailbody$(date %F %T): Keepalived状态发生切换, $(hostname) 状态切换为 $1请检查服务器运行状态。echo $mailbody | mail -s $mailsubject $mailto
}
case $1 in
master)notify master;;
backup)notify backup;;
fault)notify fault;;
*)echo Usage: $(basename $0) {master|backup|fault}exit 1;;
esackeepalived_notify.sh赋可执行权限
chmod x /etc/keepalived/keepalived_notify.sh
# 测试脚本是否可以发送
bash /etc/keepalived/keepalived_notify.sh master修改系统hostname否则使用hostname无法区分是哪台服务器出了问题修改/etc/hostname文件即可
vi /etc/hostname
#修改hostname注意格式
localhost.ServerA
#立即生效
hostname $(cat /etc/hostname)c. Keepalived软件配置
配置防火墙firewalld使VRRP组播通过防火墙 1. net.ipv4.ip_forward 1 开启允许数据包转发 2. net.ipv4.ip_nonlocal_bind 1 开启允许绑定非本机的IP 3. --in-interface后面一定要修改为你自己的网卡
echo net.ipv4.ip_forward 1 /etc/sysctl.conf
echo net.ipv4.ip_nonlocal_bind 1 /etc/sysctl.conf
sysctl -p
# 双网卡网卡enp6s0f1
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface enp6s0f1 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --out-interface enp6s0f1 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
# 双网卡网卡enp6s0f0
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface enp6s0f0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --out-interface enp6s0f0 --destination 224.0.0.18 --protocol vrrp -j ACCEPTfirewall-cmd --reload配置Keepalived的虚拟IPVIP多网卡配置虚拟一个内网VIP一个外网VIP 主节点服务器192.168.1.210的keepalived.conf配置
! Configuration File for keepalivedglobal_defs {router_id NODE_MASTER #名称唯一vrrp_skip_check_adv_addr # 默认是不跳过检查。检查收到的VRRP通告中的所有地址可能会比较耗时设置此命令的意思是如果通告与接收的上一个通告来自相同的master路由器则不执行检查(跳过检查)。#vrrp_strict # 严格遵守VRRP协议#vrrp_garp_interval 0 #在一个接口发送的两个免费ARP之间的延迟。可以精确到毫秒级。默认是0.#vrrp_gna_interval 0 #在一个网卡上每组na消息之间的延迟时间默认为0script_user rootenable_script_securitymax_auto_priority 1
}vrrp_instance VI_1 {state MASTER # 设置初始状态均主interface enp6s0f1 enp6s0f0 # 设置绑定虚拟IP的网卡多个网卡可以在后面添加virtual_router_id 51 # 集群的virtual_router_id值,主备一致priority 100 # 路由权重advert_int 1 #检查间隔默认1秒notify_master /etc/keepalived/keepalived_notify.sh masternotify_backup /etc/keepalived/keepalived_notify.sh backupnotify_fault /etc/keepalived/keepalived_notify.sh faultauthentication {auth_type PASS #认证方式auth_pass 11111111 #认证密码密码只识别前8位}virtual_ipaddress {内网虚拟ip dev enp6s0f1 # 内网虚拟ip后面可以加网卡名称绑定不同网卡公网虚拟ip dev enp6s0f0 # 公网虚拟ip后面可以加网卡名称绑定不同网卡}
}
备节点服务器192.168.1.195的keepalived.conf配置
! Configuration File for keepalivedglobal_defs {router_id NODE_SLAVE #名称唯一vrrp_skip_check_adv_addr # 默认是不跳过检查。检查收到的VRRP通告中的所有地址可能会比较耗时设置此命令的意思是如果通告与接收的上一个通告来自相同的master路由器则不执行检查(跳过检查)。vrrp_strict # 严格遵守VRRP协议#vrrp_garp_interval 0 #在一个接口发送的两个免费ARP之间的延迟。可以精确到毫秒级。默认是0.#vrrp_gna_interval 0 #在一个网卡上每组na消息之间的延迟时间默认为0script_user rootenable_script_securitymax_auto_priority 1
}vrrp_instance VI_1 {state BACKUP # 设置初始状态均备interface enp6s0f1 # 设置绑定虚拟IP的网卡virtual_router_id 51 # 集群的virtual_router_id值,主备一致priority 100 # 路由权重advert_int 1 #检查间隔默认1秒notify_master /etc/keepalived/keepalived_notify.sh masternotify_backup /etc/keepalived/keepalived_notify.sh backupnotify_fault /etc/keepalived/keepalived_notify.sh faultauthentication {auth_type PASS #认证方式auth_pass 11111111 #认证密码密码只识别前8位}virtual_ipaddress {内网虚拟ip/24 # 内网虚拟ip公网虚拟ip/24 # 公网虚拟ip}
}
分别在主备节点启动keepalived
systemctl start keepalived
# 查看启动状态
/etc/init.d/keepalived status设置keepalived开机启动
systemctl enable keepalived.service在主节点通过ip addr命令验证查看虚拟IP192.168.1.200在主节点
[rootlocalhost ~]# ip addr | grep 192.168.1.200inet 192.168.1.200/24 scope global secondary enp6s0f1在备节点通过ip addr命令验证查看虚拟IP192.168.1.200不在备节点
[rootlocalhost ~]# ip addr | grep 192.168.1.200
[rootlocalhost ~]# 通过以上验证说明Keepalived虚拟IP配置成功如果主备同时存在虚拟IP那么说明没有配置成功请检查防火墙firewall是否配置正确。同时为了验证虚拟IP是否会自动漂移可以使用systemctl stop keepalived 停止主节点的Keepalived此时虚拟IP漂移到备节点。
3. HAProxy安装配置 HAProxy也有两种安装方式yum和源码包。同样因为yum源的原因yum方式安装的不是最新稳定版本所以我们这里选择采用编译源码包的方式安装。
a. HAProxy软件安装步骤
HAProxy编译安装需要用到Lua所以首先安装Lua。记住Lua的src路径/opt/software/lua-5.4.6/src后续HAProxy编译需要用到。
cd /opt/software/
curl -R -O http://www.lua.org/ftp/lua-5.4.6.tar.gz
tar zxf lua-5.4.6.tar.gz
cd lua-5.4.6
make all test安装HAProxy编译时必须的其他软件因为gcc和openssl-devel在前面安装过所以这里我们只需要安装pcre-devel和systemd-devel。
yum install -y pcre-devel systemd-devel下载并编译HAProxy
cd /opt/software/
curl -R -O https://www.haproxy.org/download/2.8/src/haproxy-2.8.2.tar.gz
tar zxf haproxy-2.8.2.tar.gz
cd haproxy-2.8.2make ARCHx86_64 TARGETlinux-glibc USE_OPENSSL1 USE_ZLIB1 USE_PCRE1 USE_SYSTEMD1 USE_LUA1 LUA_INC/opt/software/lua-5.4.6/src/ LUA_LIB/opt/software/lua-5.4.6/src/make install PREFIX/usr/local/haproxyln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/
安装成功后查看HAProxy版本
[rootlocalhost haproxy-2.8.2]# haproxy -v
HAProxy version 2.8.2-61a0f57 2023/08/09 - https://haproxy.org/
Status: long-term supported branch - will stop receiving fixes around Q2 2028.
Known bugs: http://www.haproxy.org/bugs/bugs-2.8.2.html
Running on: Linux 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64新建HAProxy服务文件haproxy.service让其可以使用systemd系统和服务管理器管理。
mkdir /var/run/haproxy
vi /usr/lib/systemd/system/haproxy.service[Unit]
DescriptionHAProxy Load Balancer
Aftersyslog.target network.target[Service]
ExecStartPre/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy/haproxy.pid
ExecReload/bin/kill -USR2 $MAINPID[Install]
WantedBymulti-user.targetb. HAProxy软件配置
创建HAProxy配置文件
mkdir /etc/haproxyvi /etc/haproxy/haproxy.cfghaproxy.cfg配置文件内容nginx配置请查看前面章节有详细介绍如何安装配置
globallog 127.0.0.1 local6 info #info日志有用的信息log 127.0.0.1 local5 notice #notice日志普通但重要的事件pidfile /var/run/haproxy/haproxy.pid #pid文件maxconn 20000 #最大连接数user haproxy #用户 或者 uidgroup haproxy #组 或者 giddaemon #后台运行nbproc 12 #工作进程数量
defaults #默认参数mode http #模式 http or tcplog globalretries 3 #重试次数option redispatch #服务不可用后重定向到其他健康服务器option dontlognull #不记录健康检查的日志信息maxconn 20000 #最大连接数timeout client 60s # 客户端超时时间timeout server 60s # 服务端超时时间timeout connect 1s # haproxy与服务端超时时间
listen admin_stats # frontend and backend 监控bind *:8118stats uri /haproxy?stats #查看服务器状态路径 stats auth admin:123456 #用户认证密码一定要改复杂,可以设置多个stats hide-version #隐藏统计页面上的HAproxy版本信息 stats refresh 5s # 统计刷新频率
frontend web #listen 接收客户不同请求并根据acl策略做不同的请求转发至backend处理mode httpbind *:80 #端口bind *:443 ssl crt /etc/ssl/certs/***.gitegg.com.pem #端口option httplog #http格式日志option forwardfor # 转发客户端真实地址option httpclose #请求完即关闭default_backend nginx_servers #默认服务器组acl nginx_acl hdr_dom(host) -i **n.gitegg.com #定义ACL根据域名判断redirect scheme https code 301 if !{ ssl_fc } nginx_acl #nginx_acl http强制跳转ssluse_backend nginx_servers if nginx_acl #调用ACL
backend nginx_servers #backend 定义Nginx服务器集群balance roundrobin #基于权重的负载均衡的方式option httpchk GET /test.html #心跳检测server nginx1 192.168.1.210:8000 maxconn 10000 cookie server1 weight 1 check inter 1s rise 2 fall 2server nginx2 192.168.1.195:8000 maxconn 10000 cookie server2 weight 1 check inter 1s rise 2 fall 2
backend nginx_servers_ssl #backend 定义Nginx服务器集群 SSLbalance roundrobin #基于权重的负载均衡的方式option httpchk GET /test.html #心跳检测server nginx1s 192.168.1.210:4443 ssl verify none check check-ssl maxconn 10000 cookie server1 weight 1 check inter 1s rise 2 fall 2server nginx2s 192.168.1.195:4443 ssl verify none check check-ssl maxconn 10000 cookie server2 weight 1 check inter 1s rise 2 fall 2配置HAProxy日志HAProxy的日志记录始终依赖于syslog服务器因为它不执行任何文件系统访问。使用它的标准方式是通过UDP发送日志到日志服务器通常将其配置为127.0.0.1。HAProxy日志的八个级别 emerg alert crit err warning notice info debug。
vi /etc/rsyslog.conf在文件中找到一下位置放开注释 # Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514在#### RULES ####下面新增
local6.info /usr/local/haproxy/logs/info.log
local5.notice /usr/local/haproxy/logs/notice.log选一个磁盘空间大的目录保存日志重启rsyslog
mkdir /usr/local/haproxy/logs
chmod 777 /usr/local/haproxy/logs
systemctl restart rsyslogc. 启动并验证HAProxy
启动haproxy
systemctl start haproxy
#查看启动状态如果Active: active (running)表示启动成功
systemctl status haproxy.service设置haproxy开机启动
systemctl enable haproxy.service三、配置Keepalived实现HAproxy高可用 Keepalived默认监测自身状态是否正常如果不正常则切换主备虚拟IP漂移到服务状态正常的服务器上。我们需要保持HAproxy高可用也就是主HAproxy服务挂掉后Keepalived也需要切换主备将虚拟IP切换到HAproxy服务状态正常的服务器上。Keepalived通过调用自定义健康检查脚本实现以上功能。
a、自定义HAproxy健康检查脚本
创建脚本存放目录
mkdir /etc/keepalived/scripts新建haproxy_check.sh文件
vi /etc/keepalived/scripts/haproxy_check.shhaproxy_check.sh内容如下
#!/bin/bash
HAps -C haproxy --no-header | wc -l
if [ $HA -eq 0 ];thensystemctl start haproxysleep 3if [ ps -C haproxy --no-header | wc -l -eq 0 ];thensystemctl stop keepalivedexit 1fi
fi
exit 0赋予haproxy_check.sh执行权限
chmod x /etc/keepalived/scripts/haproxy_check.shb、修改Keepalived配置文件加入HAProxy监测脚本
vrrp_strict # 严格遵守VRRP协议如果防火墙开启此模式下如果keepalived切换VIP会无法访问可以注释掉试一下。
! Configuration File for keepalivedglobal_defs {router_id NODE_MASTER #名称唯一vrrp_skip_check_adv_addr # 默认是不跳过检查。检查收到的VRRP通告中的所有地址可能会比较耗时设置此命令的意思是如果通告与接收的上一个通告来自相同的master路由器则不执行检查(跳过检查)。#vrrp_strict # 严格遵守VRRP协议#vrrp_garp_interval 0 #在一个接口发送的两个免费ARP之间的延迟。可以精确到毫秒级。默认是0.#vrrp_gna_interval 0 #在一个网卡上每组na消息之间的延迟时间默认为0script_user rootenable_script_securitymax_auto_priority 1
}# 添加HAProxy监测脚本
vrrp_script check_haproxy {script /etc/keepalived/haproxy_check.shinterval 2 #检查间隔2sweight 2 #权重fall 1 # 2次失败代表服务不可用rise 1 # 1次正确代表服务可用
}vrrp_instance VI_1 {state MASTER # 设置初始状态均主interface enp6s0f1 enp6s0f0 # 设置绑定虚拟IP的网卡virtual_router_id 51 # 集群的virtual_router_id值,主备一致priority 100 # 路由权重advert_int 1 #检查间隔默认1秒notify_master /etc/keepalived/keepalived_notify.sh masternotify_backup /etc/keepalived/keepalived_notify.sh backupnotify_fault /etc/keepalived/keepalived_notify.sh faultauthentication {auth_type PASS #认证方式auth_pass 11111111 #认证密码密码只识别前8位}virtual_ipaddress {内网虚拟ip dev enp6s0f1 # 内网虚拟ip公网虚拟ip dev enp6s0f0 # 公网虚拟ip}track_script { check_haproxy}
}重启keepalived服务 systemctl restart keepalived通过以上配置之后可以使用命令停止HAProxy查看HAProxy服务是否能够重启根据我们的监测脚本即使手动停止HAProxy仍然能够启动Keepalived并不会发生状态转移。可以修改HAProxy的配置文件使服务无法启动然后测试Keepalived状态转移情况。
四、HAProxy使用配置总结
关于SSL证书是放在Nginx处理还是HAProxy处理网上有相关压测结果HAProxy的性能不如Nginx所以我们使用SSL-Pass-Through透传的方式将SSL证书放在Nginx处理。可以测试HAProxy使用SSL证书访问Java后台服务。HAProxy使用的pem文件是pem和key的合并文件即把key的内容复制到pem中。
cd /etc/ssl/certs
cat ***.gitegg.com.pem ***.gitegg.com.key | tee ***.gitegg.com.pem如果开启了防火墙需要使用防火墙开放端口命令开发对应的端口。
firewall-cmd --zonepublic --add-port80/tcp --permanent
firewall-cmd --zonepublic --add-port443/tcp --permanent
firewall-cmd --zonepublic --add-port8118/tcp --permanent
firewall-cmd --zonepublic --add-port8000/tcp --permanent
firewall-cmd --reload
# 查看当前系统打开的所有端口
firewall-cmd --zonepublic --list-ports通过http://ip:port/haproxy?stats访问查看HAProxy统计状态。
