常州专业做网站公司,问答网站建设怎么提问,网站设计全包,查企业的信息在哪个官网//存储类型
块存储
一对一#xff0c;只能被一个主机挂载使用#xff0c;数据以块为单位进行存储#xff0c;典型代表: 硬盘
文件存储
一对多#xff0c;能被多个主机同时挂载使用#xff0c;数据以文件的形式存储的(元数据和实际数据是分开存储的)#xff0c;并且有…//存储类型
块存储
一对一只能被一个主机挂载使用数据以块为单位进行存储典型代表: 硬盘
文件存储
一对多能被多个主机同时挂载使用数据以文件的形式存储的(元数据和实际数据是分开存储的)并且有目录的层级 关系典型代表:NFS
对象存储
一对多能被多个主机通过API接口访问使用数据以文件进行存储一个文件即一个对象无数据和实际数据是存储 在一起的文件是扁平化的存储没有目录的层级关系典型代表: OSS、S3
//Ceph架构
客户端(APP/VM/HOST)
三个默认接口 (块存储RBD文件存储cephES对象存储RGW)
LibRADOS对象访问接口
RADOS基础存储系统(统一存储池) //Ceph组件
OSD
负责存储数据般一个磁盘对应一个OSD响应客广端的读气请求
Monitor(mon)
负责保存OSD的元数据维护Ceph集群状态的MAP映射视图管理客户端的认证与授权
Manager(mgr)
负责跟踪集群状态和监控指标暴露接口给监控软件获取监控指标数据
MDS
负责保存 CephFS 文件系统的元数据仅在使用 CephFS 接口功能时使用
PG
可以理解成保存OSD位置的索引一个PG里包含多个数据对象一个对象只能属于一个PG
Pool
数据池可以理解成一个命名空间一个Pool里有多个PG //Ceph的存储过程
1)文件 默认会被按照4M大小进行分片成一个或多个数据对象(obiect)
2)每人object都有一个 oid(由文件ID ino 和 分片编号 ono 组成)通过对oid使用bash算法得到一个16进制的数值再与 Pool里的PG总数取余得到object的PGID(PoodIDPGID)
3)通过对PGID使用crush算法得到PG对应的OSD的ID(如有多副本则是主从OSD)
4) 将object的数据存储到对应的OSD节点上
#ceph适合存储几个G的大文件或者海量小文件。
下载ceph加速替换源地址为阿里云或者清华大学源
sed -i /s#download.ceph.com#mirrors.aliyun.com# ceph.rep
ceph osd tree 简单查看osd的状态
cd /etc/ceph
ceph-deploy mgr create node01 node02 node03
ceph -s 查看状态
再做一次时间同步
chronyc -a makestep
timedatectl set-local-rtc 0
timedatectl status
systemctl restart ceph-monnode01.service #解除延迟告警
ceph config set mon auth_allow_insecure_global_id_reclaim false #禁用不安全模式
还有告警就重启
只有五个起来
重新进行时间校准然后重启节点ceph.target和mon ceph.target 九个全起来了 -------------------- 创建 CephFS 文件系统 MDS 接口 --------------------
//服务端操作 1在管理节点创建 mds 服务 cd /etc/ceph ceph-deploy mds create node01 node02 node03
2查看各个节点的 mds 服务 ssh rootnode01 systemctl status ceph-mdsnode01 ssh rootnode02 systemctl status ceph-mdsnode02 ssh rootnode03 systemctl status ceph-mdsnode03 3创建存储池启用 ceph 文件系统 ceph 文件系统至少需要两个 rados 池一个用于存储数据一个用于存储元数据。此时数据池就类似于文件系统的共享目录。 ceph osd pool create cephfs_data 128 #创建数据Pool
ceph osd pool create cephfs_metadata 128 #创建元数据Pool
#创建 cephfs命令格式ceph fs new FS_NAME CEPHFS_METADATA_NAME CEPHFS_DATA_NAME ceph fs new mycephfs cephfs_metadata cephfs_data #启用ceph元数据Pool在前数据Pool在后
ceph fs ls #查看cephfs
4查看mds状态一个up其余两个待命目前的工作的是node01上的mds服务 ceph -s mds: mycephfs:1 {0node01up:active} 2 up:standby
ceph mds stat mycephfs:1 {0node01up:active} 2 up:standby
5创建用户 语法格式ceph fs authorize fs_name client.client_id path-in-cephfs rw
#账户为 client.zhangsan用户 name 为 zhangsanzhangsan 对ceph文件系统的 / 根目录注意不是操作系统的根目录有读写权限 ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring
# 账户为 client.lisi用户 name 为 lisilisi 对文件系统的 / 根目录只有读权限对文件系统的根目录的子目录 /test 有读写权限 ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring //客户端操作 1客户端要在 public 网络内
2在客户端创建工作目录 mkdir /etc/ceph
3在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring scp ceph.conf zhangsan.keyring lisi.keyring rootclient:/etc/ceph
4在客户端安装 ceph 软件包 cd /opt wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate rpm -ivh ceph-release-1-1.el7.noarch.rpm yum install -y ceph
5在客户端制作秘钥文件 cd /etc/ceph ceph-authtool -n client.zhangsan -p zhangsan.keyring zhangsan.key #把 zhangsan 用户的秘钥导出到 zhangsan.keyl ceph-authtool -n client.lisi -p lisi.keyring lisi.key #把 lisi 用户的秘钥导出到 lisi.key
6客户端挂载 ●方式一基于内核 语法格式 mount -t ceph node01:6789,node02:6789,node03:6789:/ 本地挂载点目录 -o name用户名,secret秘钥 mount -t ceph node01:6789,node02:6789,node03:6789:/ 本地挂载点目录 -o name用户名,secretfile秘钥文件
示例一 mkdir -p /data/zhangsan mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o namezhangsan,secretfile/etc/ceph/zhangsan.key
示例二 mkdir -p /data/lisi mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o namelisi,secretfile/etc/ceph/lisi.key
客户端在/data/zhangsan目录下面创建文件 a b c实际是写在ceph中
在admin查看 #验证用户权限 cd /data/lisi echo 123 2.txt -bash2.txt权限不够
echo 123 test/2.txt cat test/2.txt 123 lisi只可读
用zhangsan创建test目录然后用lisi进行操作 原因在于ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring
账户为 client.zhangsan用户 name 为 zhangsanzhangsan 对ceph文件系统的 / 根目录注意不是操作系统的根目录有读写权限
账户为 client.lisi用户 name 为 lisilisi 对文件系统的 / 根目录只有读权限对文件系统的根目录的子目录 /test 有读写权限 示例三 #停掉 node02 上的 mds 服务 ssh rootnode02 systemctl stop ceph-mdsnode02
ceph -s
#测试客户端的挂载点仍然是可以用的如果停掉所有的 mds客户端就不能用了 ●方式二基于 fuse 工具 1在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring scp ceph.client.admin.keyring rootclient:/etc/ceph
2在客户端安装 ceph-fuse yum install -y ceph-fuse
3客户端挂载 cd /data/aa ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty] #挂载时如果挂载点不为空会挂载失败指定 -o nonempty 可以忽略
-------------------- 创建 Ceph 块存储系统 RBD 接口 -------------------- 1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池 ceph osd pool create rbd-demo 64 64
2、将存储池转换为 RBD 模式 ceph osd pool application enable rbd-demo rbd
3、初始化存储池 rbd pool init -p rbd-demo # -p 等同于 --pool
4、创建镜像 rbd create -p rbd-demo --image rbd-demo1.img --size 10G
可简写为 rbd create rbd-demo/rbd-demo2.img --size 10G
5、镜像管理 //查看存储池下存在哪些镜像 rbd ls -l -p rbd-demo
NAME SIZE PARENT FMT PROT LOCK
rbd-demo1.img 10 GiB 2
//查看镜像的详细信息 rbd info -p rbd-demo --image rbd-demo1.img
rbd image rbd-demo.img:size 10 GiB in 2560 objects #镜像的大小与被分割成的条带数order 22 (4 MiB objects) #条带的编号有效范围是12到25对应4K到32M而22代表2的22次方这样刚好是4Msnapshot_count: 0id: 5fc98fe1f304 #镜像的ID标识block_name_prefix: rbd_data.5fc98fe1f304 #名称前缀format: 2 #使用的镜像格式默认为2features: layering, exclusive-lock, object-map, fast-diff, deep-flatten #当前镜像的功能特性op_features: #可选的功能特性flags: //修改镜像大小 rbd resize -p rbd-demo --image rbd-demo1.img --size 20G
rbd info -p rbd-demo --image rbd-demo1.img #使用 resize 调整镜像大小一般建议只增不减如果是减少的话需要加选项 --allow-shrink rbd resize -p rbd-demo --image rbd-demo1.img --size 5G --allow-shrink //删除镜像 #直接删除镜像 rbd rm -p rbd-demo --image rbd-demo2.img rbd remove rbd-demo/rbd-demo2.img
#推荐使用 trash 命令这个命令删除是将镜像移动至回收站如果想找回还可以恢复 rbd trash move rbd-demo/rbd-demo1.img
rbd ls -l -p rbd-demo
rbd trash list -p rbd-demo #还原镜像 rbd trash restore rbd-demo/5fc98fe1f304
rbd ls -l -p rbd-demo 6、Linux客户端使用 客户端使用 RBD 有两种方式 ●通过内核模块KRBD将镜像映射为系统本地块设备通常设置文件一般为/dev/rbd* ●另一种是通过librbd接口通常KVM虚拟机使用这种接口。
本例主要是使用Linux客户端挂载RBD镜像为本地磁盘使用。开始之前需要在所需要客户端节点上面安装ceph-common软件包因为客户端需要调用rbd命令将RBD镜像映射到本地当作一块普通硬盘使用。并还需要把ceph.conf配置文件和授权keyring文件复制到对应的节点。
//在管理节点创建并授权一个用户可访问指定的 RBD 存储池 #示例指定用户标识为client.osd-mount对另对OSD有所有的权限对Mon有只读的权限 ceph auth get-or-create client.osd-mount osd allow * poolrbd-demo mon allow r /etc/ceph/ceph.client.osd-mount.keyring
//修改RBD镜像特性CentOS7默认情况下只支持layering和striping特性需要将其它的特性关闭 rbd feature disable rbd-demo/rbd-demo1.img object-map,fast-diff,deep-flatten
//将用户的keyring文件和ceph.conf文件发送到客户端的/etc/ceph目录下 cd /etc/ceph scp ceph.client.osd-mount.keyring ceph.conf rootclient:/etc/ceph
//linux客户端操作 #安装 ceph-common 软件包 yum install -y ceph-common
#执行客户端映射 cd /etc/ceph rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount
#查看映射 rbd showmapped rbd device list #断开映射 rbd unmap rbd-demo/rbd-demo1.img
#格式化并挂载 mkfs.xfs /dev/rbd0
mkdir -p /data/bb mount /dev/rbd0 /data/bb
#在线扩容 在管理节点调整镜像的大小 rbd resize rbd-demo/rbd-demo1.img --size 30G
在客户端刷新设备文件 xfs_growfs /dev/rbd0 #刷新xfs文件系统容量 resize2fs /dev/rbd0 #刷新ext4类型文件系统容量 7、快照管理 对 rbd 镜像进行快照可以保留镜像的状态历史另外还可以利用快照的分层技术通过将快照克隆为新的镜像使用。
//在客户端写入文件 echo 1111 /data/bb/11.txt echo 2222 /data/bb/22.txt echo 3333 /data/bb/33.txt
//在管理节点对镜像创建快照 rbd snap create --pool rbd-demo --image rbd-demo1.img --snap demo1_snap1
可简写为 rbd snap create rbd-demo/rbd-demo1.imgdemo1_snap1
//列出指定镜像所有快照 rbd snap list rbd-demo/rbd-demo1.img
#用json格式输出: rbd snap list rbd-demo/rbd-demo1.img --format json --pretty-format
//回滚镜像到指定 在回滚快照之前需要将镜像取消镜像的映射然后再回滚。
#在客户端操作 rm -rf /data/bb/* umount /data/bb rbd unmap rbd-demo/rbd-demo1.img
#在管理节点操作 rbd snap rollback rbd-demo/rbd-demo1.imgdemo1_snap1 #在客户端重新映射并挂载 rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount mount /dev/rbd0 /data/bb ls /data/bb #发现数据还原回来了 如果遇到设备繁忙mount繁忙可以 -l 懒解挂rbd unmap繁忙可以 -o force 取消映射 //限制镜像可创建快照数 rbd snap limit set rbd-demo/rbd-demo1.img --limit 3
#解除限制 rbd snap limit clear rbd-demo/rbd-demo1.img
//删除快照 #删除指定快照 rbd snap rm rbd-demo/rbd-demo1.imgdemo1_snap1
#删除所有快照 rbd snap purge rbd-demo/rbd-demo1.img //快照分层 快照分层支持用快照的克隆生成新镜像这种镜像与直接创建的镜像几乎完全一样支持镜像的所有操作。唯一不同的是克隆镜像引用了一个只读的上游快照而且此快照必须要设置保护模式。
#快照克隆 1将上游快照设置为保护模式 rbd snap create rbd-demo/rbd-demo1.imgdemo1_snap666
rbd snap protect rbd-demo/rbd-demo1.imgdemo1_snap666
2克隆快照为新的镜像 rbd clone rbd-demo/rbd-demo1.imgdemo1_snap666 --dest rbd-demo/rbd-demo666.img
rbd ls -p rbd-demo
3命令查看克隆完成后快照的子镜像 rbd children rbd-demo/rbd-demo1.imgdemo1_snap666 //快照展平 通常情况下通过快照克隆而得到的镜像会保留对父快照的引用这时候不可以删除该父快照否则会有影响。 rbd snap rm rbd-demo/rbd-demo1.imgdemo1_snap666 #报错 snapshot demo1_snap666 is protected from removal.
如果要删除快照但想保留其子镜像必须先展平其子镜像展平的时间取决于镜像的大小 1 展平子镜像 rbd flatten rbd-demo/rbd-demo666.img
2取消快照保护 rbd snap unprotect rbd-demo/rbd-demo1.imgdemo1_snap666
3删除快照 rbd snap rm rbd-demo/rbd-demo1.imgdemo1_snap666
rbd ls -l -p rbd-demo #在删除掉快照后查看子镜像依然存在 8、镜像的导出导入 //导出镜像 rbd export rbd-demo/rbd-demo1.img /opt/rbd-demo1.img
//导入镜像 #卸载客户端挂载并取消映射 umount /data/bb rbd unmap rbd-demo/rbd-demo1.img
#清除镜像下的所有快照并删除镜像 rbd snap purge rbd-demo/rbd-demo1.img rbd rm rbd-demo/rbd-demo1.img
rbd ls -l -p rbd-demo
#导入镜像 rbd import /opt/rbd-demo1.img rbd-demo/rbd-demo1.img
rbd ls -l -p rbd-demo
-------------------- 创建 Ceph 对象存储系统 RGW 接口 -------------------- 1、对象存储概念 对象存储object storage是非结构数据的存储方法对象存储中每一条数据都作为单独的对象存储拥有唯一的地址来识别数据对象通常用于云计算环境中。 不同于其他数据存储方法基于对象的存储不使用目录树。
虽然在设计与实现上有所区别但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户端的角度来看分为以下几个逻辑单位 ●Amazon S3 提供了 1、用户User 2、存储桶Bucket 3、对象Object
三者的关系是 1、User将Object存储到系统上的Bucket 2、存储桶属于某个用户并可以容纳对象一个存储桶用于存储多个对象 3、同一个用户可以拥有多个存储桶不同用户允许使用相同名称的Bucket因此User名称即可做为Bucket的名称空间
●OpenStack Swift 提供了user、container和object分别对应于用户、存储桶和对象不过它还额外为user提供了父级组件account用于表示一个项目或用户因此一个account中可以包含一到多个user它们可共享使用同一组container并为container提供名称空间
●RadosGW 提供了user、subuser、bucket和object其中的user对应于S3的user而subuser则对应于Swift的user不过user和subuser都不支持为bucket提供名称空间因此不同用户的存储桶不允许同名不过自jewel版本起RadosGW引入了tenant租户用于为user和bucket提供名称空间但他是个可选组件 从上可以看出大多数对象存储的核心资源类型大同小异如 Amazon S3、OpenStack Swift 与 RadosGw。其中 S3 与 Swift 互不兼容RadosGw 为了兼容 S3 与 Swift Ceph 在 RadosGW 集群的基础上提供了 RGWRadosGateway数据抽象层和管理层它可以原生兼容 S3 和 Swift 的 API。 S3和Swift它们可基于http或https完成数据交换由RadosGW内建的Civetweb提供服务它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求再转发至RadosGW进程。 RGW 的功能依赖于对象网关守护进程实现负责向客户端提供 REST API 接口。出于冗余负载均衡的需求一个 Ceph 集群上通常不止一个 RadosGW 守护进程。 2、创建 RGW 接口 如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口RadosGW 通常作为对象存储Object Storage使用类于阿里云OSS。
//在管理节点创建一个 RGW 守护进程生产环境下此进程一般需要高可用后续介绍 cd /etc/ceph ceph-deploy rgw create node01
ceph -s services: mon: 3 daemons, quorum node01,node02,node03 (age 3h) mgr: node01(active, since 12h), standbys: node02 mds: mycephfs:1 {0node02up:active} 2 up:standby osd: 6 osds: 6 up (since 12h), 6 in (since 25h) rgw: 1 daemon active (node01)
#创建成功后默认情况下会自动创建一系列用于 RGW 的存储池 ceph osd pool ls rgw.root default.rgw.control #控制器信息 default.rgw.meta #记录元数据 default.rgw.log #日志信息 default.rgw.buckets.index #为 rgw 的 bucket 信息写入数据后生成 default.rgw.buckets.data #是实际存储的数据信息写入数据后生成 #默认情况下 RGW 监听 7480 号端口 ssh rootnode01 netstat -lntp | grep 7480
curl node01:7480 ?xml version1.0 encodingUTF-8?ListAllMyBucketsResult xmlnshttp://s3.amazonaws.com/doc/2006-03-01/ ListAllMyBucketsResult xmlnshttp://s3.amazonaws.com/doc/2006-03-01/ Owner IDanonymous/ID DisplayName/ /Owner Buckets/ /ListAllMyBucketsResult //开启 httphttps 更改监听端口 RadosGW 守护进程内部由 Civetweb 实现通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。
#要在 Civetweb 上启用SSL首先需要一个证书在 rgw 节点生成证书 1生成CA证书私钥 openssl genrsa -out civetweb.key 2048
2生成CA证书公钥 openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj /CN192.168.80.11
#3、将生成的证书合并为pem cat civetweb.key civetweb.crt /etc/ceph/civetweb.pem
#更改监听端口 Civetweb 默认监听在 7480 端口并提供 http 协议如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件 cd /etc/ceph
vim ceph.conf ...... [client.rgw.node01] rgw_host node01 rgw_frontends civetweb port80443s ssl_certificate/etc/ceph/civetweb.pem num_threads500 request_timeout_ms60000
------------------------------------------------------------ ●rgw_host对应的RadosGW名称或者IP地址 ●rgw_frontends这里配置监听的端口是否使用https以及一些常用配置 •port如果是https端口需要在端口后面加一个s。 •ssl_certificate指定证书的路径。 •num_threads最大并发连接数默认为50根据需求调整通常在生产集群环境中此值应该更大 •request_timeout_ms发送与接收超时时长以ms为单位默认为30000 •access_log_file访问日志路径默认为空 •error_log_file错误日志路径默认为空 ------------------------------------------------------------
#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务再推送配置文件 ceph-deploy --overwrite-conf config push node0{1..3}
ssh rootnode01 systemctl restart ceph-radosgw.target
#在 rgw 节点上查看端口 netstat -lntp | grep -w 80 netstat -lntp | grep 443
#在客户端访问验证 curl http://192.168.80.11:80 curl -k https://192.168.80.11:443 //创建 RadosGW 账户 在管理节点使用 radosgw-admin 命令创建 RadosGW 账户
radosgw-admin user create --uidrgwuser --display-namergw test user ...... keys: [ { user: rgwuser, access_key: ER0SCVRJWNRIKFGQD31H, secret_key: YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna } ], #创建成功后将输出用户的基本信息其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功如果忘记用户信息可以使用下面的命令查看 radosgw-admin user info --uidrgwuser //S3 接口访问测试 1在客户端安装 python3、python3-pip yum install -y python3 python3-pip
python3 -V Python 3.6.8
pip3 -V pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)
2安装 boto 模块用于测试连接 S3 pip3 install boto
3测试访问 S3 接口 echo 123123 /opt/123.txt
vim test.py #coding:utf-8 import ssl import boto.s3.connection from boto.s3.key import Key try: _create_unverified_https_context ssl._create_unverified_context except AttributeError: pass else: ssl._create_default_https_context _create_unverified_https_context #test用户的keys信息 access_key ER0SCVRJWNRIKFGQD31H #输入 RadosGW 账户的 access_key secret_key YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna #输入 RadosGW 账户的 secret_key
#rgw的ip与端口 host 192.168.80.11 #输入 RGW 接口的 public 网络地址
#如果使用443端口下述链接应设置is_secureTrue port 443 #如果使用80端口下述链接应设置is_secureFalse #port 80 conn boto.connect_s3( aws_access_key_idaccess_key, aws_secret_access_keysecret_key, hosthost, portport, is_secureTrue, validate_certsFalse, calling_formatboto.s3.connection.OrdinaryCallingFormat() )
#一:创建存储桶 #conn.create_bucket(bucket_namebucket01) #conn.create_bucket(bucket_namebucket02)
#二判断是否存在不存在返回None exists conn.lookup(bucket01) print(exists) #exists conn.lookup(bucket02) #print(exists)
#三获得一个存储桶 #bucket1 conn.get_bucket(bucket01) #bucket2 conn.get_bucket(bucket02)
#四查看一个bucket下的文件 #print(list(bucket1.list())) #print(list(bucket2.list()))
#五向s3上存储数据数据来源可以是file、stream、or string #5.1、上传文件 #bucket1 conn.get_bucket(bucket01) # name的值是数据的key #key Key(bucketbucket1, namemyfile) #key.set_contents_from_filename(/opt/123.txt) # 读取 s3 中文件的内容返回 string 即文件 123.txt 的内容 #print(key.get_contents_as_string())
#5.2、上传字符串 #如果之前已经获取过对象此处不需要重复获取 bucket2 conn.get_bucket(bucket02) key Key(bucketbucket2, namemystr) key.set_contents_from_string(hello world) print(key.get_contents_as_string())
#六删除一个存储桶在删除存储桶本身时必须删除该存储桶内的所有key bucket1 conn.get_bucket(bucket01) for key in bucket1: key.delete() bucket1.delete() 4按照以上步骤执行 python 脚本测试 python3 test.py -------------------- OSD 故障模拟与恢复 -------------------- 1、模拟 OSD 故障 如果 ceph 集群有上千个 osd每天坏 2~3 个太正常了我们可以模拟 down 掉一个 osd
#如果 osd 守护进程正常运行down 的 osd 会很快自恢复正常所以需要先关闭守护进程 ssh rootnode01 systemctl stop ceph-osd0
#down 掉 osd ceph osd down 0
ceph osd tree 2、将坏掉的 osd 踢出集群 //方法一 #将 osd.0 移出集群集群会开始自动同步数据 ceph osd out osd.0
#将 osd.0 移除 crushmap ceph osd crush remove osd.0
#删除守护进程对应的账户信息 ceph auth rm osd.0
ceph auth list
#删掉 osd.0 ceph osd rm osd.0
ceph osd stat ceph -s
//方法二 ceph osd out osd.0
#使用综合步骤删除配置文件中针对坏掉的 osd 的配置 ceph osd purge osd.0 --yes-i-really-mean-it 3、把原来坏掉的 osd 修复后重新加入集群 #在 osd 节点创建 osd无需指定名会按序号自动生成 cd /etc/ceph
ceph osd create
#创建账户 ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon allow profile osd --cap mgr allow profile osd --cap osd allow *
#导入新的账户秘钥 ceph auth import -i /etc/ceph/ceph.osd.0.keyring
ceph auth list
#更新对应的 osd 文件夹中的密钥环文件 ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring
#加入 crushmap ceph osd crush add osd.0 1.000 hostnode01 #1.000 代表权重
#加入集群 ceph osd in osd.0
ceph osd tree
#重启 osd 守护进程 systemctl restart ceph-osd0
ceph osd tree #稍等片刻后 osd 状态为 up
//如果重启失败 报错 Job for ceph-osd0.service failed because start of the service was attempted too often. See systemctl status ceph-osd0.service and journalctl -xe for details. To force a start use systemctl reset-failed ceph-osd0.service followed by systemctl start ceph-osd0.service again.
#运行 systemctl reset-failed ceph-osd0.service systemctl restart ceph-osd0.service
