杭州做商业地产开什么网站好,全国网站开发,wordpress仿百度百家,汇米网站建设文章目录 一、概述二、MinIO 与 Ceph 对比1#xff09;架构设计对比2#xff09;数据一致性对比3#xff09;部署和管理对比4#xff09;生态系统和兼容性对比 三、前期准备1#xff09;部署 docker2#xff09;部署 docker-compose 四、创建网络五、MinIO 编排部署1架构设计对比2数据一致性对比3部署和管理对比4生态系统和兼容性对比 三、前期准备1部署 docker2部署 docker-compose 四、创建网络五、MinIO 编排部署1下载 MinIO 安装包2配置3启动脚本 bootstrap.sh4构建镜像 Dockerfile5编排 docker-compose.yaml6开始部署7简单测试验证8web 访问 一、概述
MinIO 是一个开源的对象存储服务器它兼容Amazon S3Simple Storage ServiceAPI。它被设计用于构建分布式存储架构提供高可用性、高性能和可扩展的对象存储解决方案。
下面是MinIO的一些主要特点和功能 对象存储MinIO以对象为基本存储单元可以存储和管理任意大小的文件、数据对象。它提供了标准的对象存储操作如上传、下载、删除和元数据管理。 分布式架构MinIO采用分布式架构可以在多个节点上部署并将数据分布和复制在不同的节点上。这提供了高可用性和数据冗余确保数据的持久性和可靠性。 高性能MinIO通过并行处理和分布式架构实现高性能的数据存取。它利用现代硬件和网络技术充分利用多核处理器和高带宽网络以实现快速的数据传输和处理。 水平扩展MinIO可以水平扩展通过添加更多的节点来增加存储容量和吞吐量。它支持自动数据分片和负载均衡确保数据在各个节点上均匀分布和访问的负载均衡。 数据保护MinIO提供了多种数据保护机制包括数据冗余、故障转移和数据校验。它可以在不同的节点之间复制数据以应对节点故障和数据损坏的情况。 安全性MinIO支持数据加密和访问控制保护存储在其中的数据的安全性和隐私性。它提供了传输层加密TLS/SSL和服务器端加密选项以及身份验证和访问控制机制。
总的来说MinIO是一个开源的高性能对象存储服务器适用于构建分布式存储系统。它具有高可用性、可扩展性和数据保护机制兼容Amazon S3 API使其与现有的S3生态系统和工具集成无缝。MinIO在大数据、云计算和容器化环境中广泛应用为应用程序提供了可靠、高效的对象存储服务。 这里主要侧重使用docker快速部署环境想了解更多可以参考我以下几篇文章
高性能分布式对象存储——MinIO环境部署高性能分布式对象存储——MinIO实战操作MinIO扩容【云原生】Minio on k8s 讲解与实战操作【云原生.大数据】镜像仓库Harbor对接MinIO对象存储
官方文档https://docs.min.io/ 中文文档http://docs.minio.org.cn/docs/
二、MinIO 与 Ceph 对比
MinIO和Ceph都是流行的开源存储解决方案它们在对象存储领域有不同的特点和适用场景。下面是MinIO和Ceph的对比
1架构设计对比
MinIOMinIO采用分布式架构以水平扩展为基础。它通过多个独立的MinIO节点组成集群每个节点都是独立的对象存储服务器。MinIO专注于提供简单、轻量级的对象存储服务适用于小型到中等规模的部署。CephCeph是一个分布式存储系统由对象存储、块存储和文件系统组成。它使用RADOSReliable Autonomic Distributed Object Store作为底层存储系统提供高可用性和数据冗余。Ceph适用于大规模的企业级部署具有复杂的架构和丰富的功能。
2数据一致性对比
MinIOMinIO在默认配置下提供最终一致性即写入操作返回成功后数据可能会有一定的时间窗口内的延迟才能完全一致。这适用于许多应用场景如数据备份、存档等。CephCeph提供强一致性即写入操作在返回成功后数据即刻就达到一致性。这对于需要强一致性保证的应用场景非常重要如数据库和事务处理。
3部署和管理对比
MinIOMinIO 的部署和管理相对简单可以通过单个二进制文件或容器进行快速安装和配置。它提供了直观的管理界面和易于使用的API使得管理和监控变得简单。CephCeph 的部署和管理相对复杂涉及多个组件和配置。它需要更多的时间和专业知识来设置和维护需要熟悉Ceph的架构和配置。
4生态系统和兼容性对比 MinIOMinIO与Amazon S3 API兼容这意味着现有的S3工具和应用程序可以无缝地与MinIO集成。它还有一个活跃的社区提供了各种客户端库和插件扩展了其功能和兼容性。 CephCeph 具有广泛的生态系统和丰富的功能集。它可以与多个协议和接口如RADOS、RBD、CephFS进行集成提供块存储、文件系统和对象存储的全面解决方案。
综上所述MinIO适用于简单、轻量级的对象存储需求注重高性能和易用性。它适合中小规模部署并且与Amazon S3兼容易于与现有的S3生态系统集成。 Ceph则适用于大规模、复杂的企业级存储需求。它提供强一致性和丰富的功能集适合需要高可用性、数据冗余和复杂数据操作的场景。Ceph的部署和管理相对复杂需要更多的配置和管理工作。 选择MinIO还是Ceph取决于具体的需求和场景。如果你需要一个简单、易用、高性能的对象存储解决方案并与S3兼容那么MinIO是一个不错的选择。如果你需要一个功能强大、可扩展、支持块存储和文件系统的分布式存储系统且具备强一致性的要求那么Ceph是更适合的选择。
无论选择MinIO还是Ceph都需要仔细评估其与特定应用和环境的兼容性、性能需求、管理复杂性和可扩展性以确保选择的解决方案能够满足实际需求并提供可靠的存储服务。
三、前期准备
1部署 docker
# 安装yum-config-manager配置工具
yum -y install yum-utils# 建议使用阿里云yum源推荐
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装docker-ce版本
yum install -y docker-ce
# 启动并开机启动
systemctl enable --now docker
docker --version2部署 docker-compose
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-composechmod x /usr/local/bin/docker-compose
docker-compose --version四、创建网络
# 创建注意不能使用hadoop_network要不然启动hs2服务的时候会有问题
docker network create hadoop-network# 查看
docker network ls五、MinIO 编排部署
1下载 MinIO 安装包
wget https://dl.min.io/server/minio/release/linux-amd64/minio2配置
这里部署的是伪集群但是需要的磁盘还是那么多下面就是挂载磁盘的步骤
### 1、格式化
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
mkfs.ext4 /dev/sde
mkfs.ext4 /dev/sdf
mkfs.ext4 /dev/sdg
mkfs.ext4 /dev/sdh
mkfs.ext4 /dev/sdi
mkfs.ext4 /dev/sdj
mkfs.ext4 /dev/sdk
mkfs.ext4 /dev/sdl
mkfs.ext4 /dev/sdm### 2、创建挂载目录
mkdir /opt/apache/docker-compose-minio/data/minio-node{1..3}/data{1..4}### 3、挂载
# minio-node1
mount /dev/sdb /opt/apache/docker-compose-minio/data/minio-node1/data1
mount /dev/sdc /opt/apache/docker-compose-minio/data/minio-node1/data2
mount /dev/sdd /opt/apache/docker-compose-minio/data/minio-node1/data3
mount /dev/sde /opt/apache/docker-compose-minio/data/minio-node1/data4# minio-node2
mount /dev/sdf /opt/apache/docker-compose-minio/data/minio-node2/data1
mount /dev/sdg /opt/apache/docker-compose-minio/data/minio-node2/data2
mount /dev/sdh /opt/apache/docker-compose-minio/data/minio-node2/data3
mount /dev/sdi /opt/apache/docker-compose-minio/data/minio-node2/data4# minio-node3
mount /dev/sdj /opt/apache/docker-compose-minio/data/minio-node3/data1
mount /dev/sdk /opt/apache/docker-compose-minio/data/minio-node3/data2
mount /dev/sdl /opt/apache/docker-compose-minio/data/minio-node3/data3
mount /dev/sdm /opt/apache/docker-compose-minio/data/minio-node3/data4### 4、持久化配置
# minio-node1
echo /dev/sdb /opt/apache/docker-compose-minio/data/minio-node1/data1 ext4 defaults 0 0 /etc/fstab
echo /dev/sdc /opt/apache/docker-compose-minio/data/minio-node1/data2 ext4 defaults 0 0 /etc/fstab
echo /dev/sdd /opt/apache/docker-compose-minio/data/minio-node1/data3 ext4 defaults 0 0 /etc/fstab
echo /dev/sde /opt/apache/docker-compose-minio/data/minio-node1/data4 ext4 defaults 0 0 /etc/fstab# minio-node2
echo /dev/sdf /opt/apache/docker-compose-minio/data/minio-node2/data1 ext4 defaults 0 0 /etc/fstab
echo /dev/sdg /opt/apache/docker-compose-minio/data/minio-node2/data2 ext4 defaults 0 0 /etc/fstab
echo /dev/sdh /opt/apache/docker-compose-minio/data/minio-node2/data3 ext4 defaults 0 0 /etc/fstab
echo /dev/sdi /opt/apache/docker-compose-minio/data/minio-node1/data4 ext4 defaults 0 0 /etc/fstab# minio-node3
echo /dev/sdj /opt/apache/docker-compose-minio/data/minio-node3/data1 ext4 defaults 0 0 /etc/fstab
echo /dev/sdk /opt/apache/docker-compose-minio/data/minio-node3/data2 ext4 defaults 0 0 /etc/fstab
echo /dev/sdl /opt/apache/docker-compose-minio/data/minio-node3/data3 ext4 defaults 0 0 /etc/fstab
echo /dev/sdm /opt/apache/docker-compose-minio/data/minio-node3/data4 ext4 defaults 0 0 /etc/fstab3启动脚本 bootstrap.sh
#!/bin/bash
source /etc/profile# 在三台机器上都执行该文件即以分布式的方式启动了MINIO
# --address 0.0.0.0:9000 挂载9001端口为api端口如Java客户端访问的端口
# --console-address :9000 挂载9000端口为web端口
/opt/apache/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \
http://minio-node1/opt/apache/minio/data/export1 \
http://minio-node1/opt/apache/minio/data/export2 \
http://minio-node1/opt/apache/minio/data/export3 \
http://minio-node1/opt/apache/minio/data/export4 \
http://minio-node2/opt/apache/minio/data/export1 \
http://minio-node2/opt/apache/minio/data/export2 \
http://minio-node2/opt/apache/minio/data/export3 \
http://minio-node2/opt/apache/minio/data/export4 \
http://minio-node3/opt/apache/minio/data/export1 \
http://minio-node3/opt/apache/minio/data/export2 \
http://minio-node3/opt/apache/minio/data/export3 \
http://minio-node3/opt/apache/minio/data/export4 /opt/apache/minio/logs/minio_server.log tail -f /opt/apache/minio/logs/minio_server.logMinio默认9000端口在配置文件中加入–address “127.0.0.1:9029” 可更改端口
MINIO_ACCESS_KEY用户名长度最小是5个字符MINIO_SECRET_KEY密码密码不能设置过于简单不然minio会启动失败长度最小是8个字符–config-dir指定集群配置文件目录–address api的端口默认是9000--console-address web端口默认随机 【温馨提示】磁盘大小必须1G这里我添加的是4*2G的盘 4构建镜像 Dockerfile
FROM registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/centos-jdk:7.7.1908# 创建日志存储目录
RUN mkdir -p /opt/apache/minio/logs
# 分别在三个节点上创建存储目录
RUN mkdir -p /opt/apache/minio/data/export{1..3}
# 创建配置目录
RUN mkdir -p /etc/minio
# 账号密码
ENV MINIO_ROOT_USERadmin
ENV MINIO_ROOT_PASSWORDadmin123456# copy minio
COPY minio /opt/apache/minio/# copy minio client mc
COPY mc /opt/apache/minio/RUN ln -s /opt/apache/minio/mc /usr/local/sbin/mc# copy bootstrap.sh
COPY bootstrap.sh /opt/apache/
RUN chmod x /opt/apache/bootstrap.shWORKDIR /opt/apache开始构建镜像
docker build -t registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/minio:20230619 . --no-cache --progressplain# 为了方便小伙伴下载即可使用我这里将镜像文件推送到阿里云的镜像仓库
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/minio:20230619### 参数解释
# -t指定镜像名称
# . 当前目录Dockerfile
# -f指定Dockerfile路径
# --no-cache不缓存5编排 docker-compose.yaml
version: 3
services:minio-node1:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/minio:20230619container_name: minio-node1hostname: minio-node1restart: alwaysprivileged: trueenv_file:- .envexpose:- ${MinIO_PORT}ports:- ${MinIO_HTTP_PORT}volumes:- /opt/apache/docker-compose-minio/data/minio-node1/data1:/opt/apache/minio/data/export1- /opt/apache/docker-compose-minio/data/minio-node1/data2:/opt/apache/minio/data/export2- /opt/apache/docker-compose-minio/data/minio-node1/data3:/opt/apache/minio/data/export3- /opt/apache/docker-compose-minio/data/minio-node1/data4:/opt/apache/minio/data/export4command: [sh,-c,/opt/apache/bootstrap.sh]networks:- hadoop-networkhealthcheck:test: [CMD-SHELL, netstat -tnlp|grep :${MinIO_PORT} || exit 1]interval: 10stimeout: 10sretries: 5minio-node2:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/minio:20230619container_name: minio-node2hostname: minio-node2restart: alwaysprivileged: trueenv_file:- .envexpose:- ${MinIO_PORT}ports:- ${MinIO_HTTP_PORT}volumes:- /opt/apache/docker-compose-minio/data/minio-node2/data1:/opt/apache/minio/data/export1- /opt/apache/docker-compose-minio/data/minio-node2/data2:/opt/apache/minio/data/export2- /opt/apache/docker-compose-minio/data/minio-node2/data3:/opt/apache/minio/data/export3- /opt/apache/docker-compose-minio/data/minio-node2/data4:/opt/apache/minio/data/export4command: [sh,-c,/opt/apache/bootstrap.sh]networks:- hadoop-networkhealthcheck:test: [CMD-SHELL, netstat -tnlp|grep :${MinIO_PORT} || exit 1]interval: 10stimeout: 10sretries: 5minio-node3:image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/minio:20230619container_name: minio-node3hostname: minio-node3restart: alwaysprivileged: trueenv_file:- .envexpose:- ${MinIO_PORT}ports:- ${MinIO_HTTP_PORT}volumes:- /opt/apache/docker-compose-minio/data/minio-node3/data1:/opt/apache/minio/data/export1- /opt/apache/docker-compose-minio/data/minio-node3/data2:/opt/apache/minio/data/export2- /opt/apache/docker-compose-minio/data/minio-node3/data3:/opt/apache/minio/data/export3- /opt/apache/docker-compose-minio/data/minio-node3/data4:/opt/apache/minio/data/export4command: [sh,-c,/opt/apache/bootstrap.sh]networks:- hadoop-networkhealthcheck:test: [CMD-SHELL, netstat -tnlp|grep :${MinIO_PORT} || exit 1]interval: 10stimeout: 10sretries: 5# 连接外部网络
networks:hadoop-network:external: true.env 文件内容
MinIO_PORT9000
MinIO_HTTP_PORT90016开始部署
# --project-name指定项目名称默认是当前目录名称
docker-compose -f docker-compose.yaml up -d# 查看
docker-compose -f docker-compose.yaml ps# 卸载
docker-compose -f docker-compose.yaml down7简单测试验证
# 登录容器内测试
docker exec -it minio-node1 bash# 登录密文输入推荐
[rootminio-node1 apache]# mc config host add minio http://localhost:9000
Enter Access Key: admin
Enter Secret Key: 输入密码
Added minio successfully.# 查看集群信息
mc admin info minio8web 访问
http://ip:port
docker-compose -f docker-compose.yaml ps账号/密码admin/admin123456 到此通过 docker-compose 快速部署 MinIO 保姆级教程就完结了有任何疑问请关注我公众号大数据与云原生技术分享加群交流或私信沟通如本篇文章对您有所帮助麻烦帮忙一键三连点赞、转发、收藏~
