湖南做网站 在线磐石网络,百度一下百度搜索,做网站做百度竞价赚钱,建设网站步骤是1.前期准备
#xff08;1#xff09;把docker#xff0c;docker-compose#xff0c;kafka集群安装配置好 参考文章#xff1a;
利用docker搭建kafka集群并且进行相应的实践-CSDN博客
这篇文章里面有另外两篇文章的链接#xff0c;点进去就能够看到 #xff08;2…1.前期准备
1把dockerdocker-composekafka集群安装配置好 参考文章
利用docker搭建kafka集群并且进行相应的实践-CSDN博客
这篇文章里面有另外两篇文章的链接点进去就能够看到 2最好把Finalshell也下载好具体下载教程详见如下文章
保姆级教程下载finalshell以及连接云服务器基础的使用教程_finalshell下载安装-CSDN博客
3最好把docker的镜像源换一下
vi /etc/docker/daemon.json
把里面原来的镜像源全部删掉换成下面的镜像源何驰给我的
{registry-mirrors: [http://hub-mirror.c.163.com,https://mirror.ccs.tencentyun.com,https://docker-proxy.741001.xyz,https://registry.docker-cn.com]
}保存并且退出查看一下
docker info
[rootnode1 ~]# docker info
Client: Docker Engine - CommunityVersion: 26.1.4Context: defaultDebug Mode: falsePlugins:buildx: Docker Buildx (Docker Inc.)Version: v0.14.1Path: /usr/libexec/docker/cli-plugins/docker-buildxcompose: Docker Compose (Docker Inc.)Version: v2.27.1Path: /usr/libexec/docker/cli-plugins/docker-composeServer:Containers: 3Running: 0Paused: 0Stopped: 3Images: 2Server Version: 26.1.4Storage Driver: overlay2Backing Filesystem: xfsSupports d_type: trueUsing metacopy: falseNative Overlay Diff: trueuserxattr: falseLogging Driver: json-fileCgroup Driver: cgroupfsCgroup Version: 1Plugins:Volume: localNetwork: bridge host ipvlan macvlan null overlayLog: awslogs fluentd gcplogs gelf journald json-file local splunk syslogSwarm: inactiveRuntimes: io.containerd.runc.v2 runcDefault Runtime: runcInit Binary: docker-initcontainerd version: d2d58213f83a351ca8f528a95fbd145f5654e957runc version: v1.1.12-0-g51d5e94init version: de40ad0Security Options:seccompProfile: builtinKernel Version: 3.10.0-1160.el7.x86_64Operating System: CentOS Linux 7 (Core)OSType: linuxArchitecture: x86_64CPUs: 1Total Memory: 3.682GiBName: node1ID: eb6f4510-9e84-4973-aad6-39e9ecce6034Docker Root Dir: /var/lib/dockerDebug Mode: falseExperimental: falseInsecure Registries:127.0.0.0/8Registry Mirrors:http://hub-mirror.c.163.com/https://mirror.ccs.tencentyun.com/https://docker-proxy.741001.xyz/https://registry.docker-cn.com/Live Restore Enabled: false2.利用docker-compose配置flink集群 一直在node1的root用户下进行
1编写flink.yml文件输入以下代码
mkdir -p /export/server
cd /export/server
vi flink.yml
添加以下内容
version: 3
services:jobmanager:image: flink:latestcontainer_name: jobmanagerhostname: jobmanagerports:- 8081:8081command: jobmanagerenvironment:- JOB_MANAGER_RPC_ADDRESSjobmanagernetworks:- flink_networktaskmanager:image: flink:latestdepends_on:- jobmanagerports:- 8082-8084:8081 # 确保端口范围足够command: taskmanagerscale: 3 # 设置TaskManager的数量为3environment:- JOB_MANAGER_RPC_ADDRESSjobmanagernetworks:- flink_network
networks: #注意这里要跟services配置项目对齐即平级的意思flink_network:driver: bridge2使用如下命令启动集群记得先启动docker同时查看集群运行状态
systemctl start docker
docker-compose -f flink.yml up -d
docker ps效果如下
[rootnode1 server]# systemctl start docker
[rootnode1 server]# docker-compose -f flink.yml up -d
/usr/local/lib/python3.6/site-packages/paramiko/transport.py:32: CryptographyDeprecationWarning: Python 3.6 is no longer supported by the Python core team. Therefore, support for it is deprecated in cryptography. The next release of cryptography will remove support for Python 3.6.from cryptography.hazmat.backends import default_backend
Creating network server_flink_network with driver bridge
WARNING: Found orphan containers (kafka2, kafka1, kafka3) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.
Pulling jobmanager (flink:latest)...
latest: Pulling from library/flink
6414378b6477: Pull complete
2c9f253e30bf: Pull complete
65c8233e39bf: Pull complete
b59d22db63f3: Pull complete
b80a9c727cee: Pull complete
da3337ead35a: Pull complete
53e543b721f9: Pull complete
ecebf073acfb: Pull complete
21be4ec89742: Pull complete
f71629a01e27: Pull complete
cc4f5f48c9f1: Pull complete
Digest: sha256:2ec7f6d5591444334f63b66ddd49c7ae02551cb0a27c0988790fa43caa49716f
Status: Downloaded newer image for flink:latest
Creating jobmanager ... done
WARNING: The taskmanager service specifies a port on the host. If multiple containers for this service are created on a single host, the port will clash.
Creating server_taskmanager_1 ... done
Creating server_taskmanager_2 ... done
Creating server_taskmanager_3 ... done
[rootnode1 server]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e908f25d0df5 flink:latest /docker-entrypoint.… 6 seconds ago Up 2 seconds 6123/tcp, 0.0.0.0:8084-8081/tcp, :::8084-8081/tcp server_taskmanager_1
8ebe74a4481a flink:latest /docker-entrypoint.… 6 seconds ago Up 2 seconds 6123/tcp, 0.0.0.0:8083-8081/tcp, :::8083-8081/tcp server_taskmanager_2
11936734f5cf flink:latest /docker-entrypoint.… 6 seconds ago Up 3 seconds 6123/tcp, 0.0.0.0:8082-8081/tcp, :::8082-8081/tcp server_taskmanager_3
e053c7560ee9 flink:latest /docker-entrypoint.… 8 seconds ago Up 6 seconds 6123/tcp, 0.0.0.0:8081-8081/tcp, :::8081-8081/tcp jobmanager
[rootnode1 server]# 成功后在网页上面输入node1:8081进入这个网站有时候因为网络不好会进入不了这个网站 然后就ok了
3关闭flink集群代码
docker-compose -f flink.yml down
效果如下
[rootnode1 server]# docker-compose -f flink.yml down
/usr/local/lib/python3.6/site-packages/paramiko/transport.py:32: CryptographyDeprecationWarning: Python 3.6 is no longer supported by the Python core team. Therefore, support for it is deprecated in cryptography. The next release of cryptography will remove support for Python 3.6.from cryptography.hazmat.backends import default_backend
Stopping server_taskmanager_1 ... done
Stopping server_taskmanager_2 ... done
Stopping server_taskmanager_3 ... done
Stopping jobmanager ... done
WARNING: Found orphan containers (kafka2, kafka3, kafka1) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.
Removing server_taskmanager_1 ... done
Removing server_taskmanager_2 ... done
Removing server_taskmanager_3 ... done
Removing jobmanager ... done
Removing network server_flink_network
[rootnode1 server]# 3.参考文章
1在linux虚拟机上面配置Docker时所踩过的坑_docker 20.10.6设置镜像源不生效-CSDN博客
2黑马大数据学习笔记4-Hive部署和基本操作_黑马大数据 hive笔记-CSDN博客
3ubuntu系统中使用docker-compose安装部署docker集群本地-CSDN博客
4利用docker搭建kafka集群并且进行相应的实践-CSDN博客
4.补充笔记
1如果使用docker拉取flink镜像的速度太慢就可能是因为docker的镜像源太老旧了。
使用 Docker 拉取 Flink 镜像时如果速度较慢可能有以下几个原因
### 1. **Docker Hub 服务器远程访问速度慢** - 默认情况下Docker 会从 Docker Hub 拉取镜像而 Docker Hub 的服务器位于国外。如果你在中国或其他地区可能会受到网络带宽限制导致下载速度慢。
### 2. **网络带宽问题** - 如果你的网络连接较慢或者有网络拥塞、丢包等问题都会导致拉取速度变慢。
### 3. **Docker 镜像源不稳定** - Docker Hub 本身的服务器或某个镜像源可能出现故障或负载过高导致访问速度下降。
### 4. **没有使用 Docker 镜像加速器** - Docker 官方没有为国内用户提供快速的镜像下载服务若未配置国内的 Docker 镜像加速器下载速度会非常慢。
### 5. **镜像的大小** - Flink 镜像可能相对较大下载时需要更多的时间尤其是没有进行增量拉取如果镜像有很大变化可能需要完整拉取。
### 6. **镜像的标签Tag问题** - 如果你指定的是一个较老或者不常用的镜像标签可能会拉取到一些不常用的镜像版本而这些镜像版本可能分布在不同的服务器节点上导致拉取速度变慢。
---
### **解决办法** 1. **使用国内镜像源** - 配置 Docker 镜像加速器选择国内的 Docker 镜像源来加速下载速度。常见的加速器有 - 网易云镜像http://hub-mirror.c.163.com - 腾讯云镜像https://mirror.ccs.tencentyun.com - 阿里云镜像https://registry.cn-hangzhou.aliyuncs.com - Docker 官方中国镜像https://registry.docker-cn.com
2. **配置 Docker 镜像加速器** - 你可以在 Docker 配置文件 /etc/docker/daemon.json 中配置镜像加速器。例如 json { registry-mirrors: [ http://hub-mirror.c.163.com, https://mirror.ccs.tencentyun.com ] } - 然后重新启动 Docker 服务 bash sudo systemctl restart docker
3. **选择合适的镜像标签** - 尽量选择较为稳定和常用的标签如 latest 或特定版本标签避免使用过时的标签。
4. **检查网络环境** - 检查你的网络连接是否稳定并确保没有中间的网络限制或防火墙阻止访问 Docker Hub。
通过这些方法你应该能够提高拉取 Flink 镜像的速度。
2docker ps和docker-compose ps区别是什么 docker ps 和 docker-compose ps 都用于查看容器的运行状态但它们有一些重要的区别主要体现在它们的使用场景和管理方式上。下面是详细的对比
### 1. **docker ps**
- **功能**列出当前正在运行的 Docker 容器。 - **作用范围**它只显示当前 Docker 主机上运行的容器不依赖于 Docker Compose 配置。 - **默认显示内容**默认显示容器的 ID、名称、镜像、命令、创建时间、状态、端口等信息。 - **适用场景**当你使用 docker 命令直接管理容器时使用 docker ps 查看容器的状态。例如你直接使用 docker run 启动的容器。
#### 示例 bash docker ps
输出示例 CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 1234abcd5678 nginx nginx -g daemon of… 10 minutes ago Up 9 minutes 80/tcp hopeful_morse
- docker ps 只显示运行中的容器。如果你想查看所有容器包括停止的容器可以加上 -a 参数 bash docker ps -a
### 2. **docker-compose ps**
- **功能**列出由 Docker Compose 管理的服务的容器状态。 - **作用范围**它只显示当前在 Docker Compose 配置下运行的容器。Docker Compose 是一个工具允许你通过 YAML 文件定义和运行多个 Docker 容器。 - **默认显示内容**显示服务的状态、容器 ID、端口、以及服务名称等信息。 - **适用场景**当你使用 Docker Compose 启动一组容器时使用 docker-compose ps 查看这些容器的状态。
#### 示例 bash docker-compose ps
输出示例 Name Command State Ports ----------------------------------------------------------------------------------- myapp_web_1 python app.py Up 3 minutes 0.0.0.0:5000-5000/tcp myapp_db_1 docker-entrypoint.sh postgres Up 3 minutes 5432/tcp
- docker-compose ps 只显示通过当前目录下的 docker-compose.yml 文件管理的服务。 - 如果你需要查看所有容器的状态包括停止的容器可以加上 -a 参数 bash docker-compose ps -a
### **主要区别**
| **特性** | **docker ps** | **docker-compose ps** | |-------------------------|------------------------------------------------------|----------------------------------------------------------| | **管理对象** | Docker 容器所有通过 Docker CLI 启动的容器 | Docker Compose 管理的服务容器通过 docker-compose 启动的容器 | | **查看范围** | 显示所有运行中的容器不依赖于 Compose | 仅显示通过 docker-compose 启动的容器 | | **命令的作用对象** | 针对单个 Docker 容器的操作 | 针对一个或多个服务服务是由 Compose 配置定义的 | | **是否依赖 Docker Compose** | 否 | 是 | | **常用场景** | 直接使用 docker run 启动的容器或在没有 Compose 的情况下管理容器 | 使用 Docker Compose 管理多容器应用时查看应用状态 |
### **总结** - 如果你只是想查看 Docker 主机上所有容器的状态无论它们是通过 Docker 还是 Docker Compose 启动的使用 docker ps。 - 如果你在使用 Docker Compose 管理一个多容器应用并想查看这些容器的状态使用 docker-compose ps。
