婚恋网站制作要多少钱,兴海县公司网站建设,做防水网站,鞍山人才网官网海豚调度系列之#xff1a;集群部署Cluster 一、前置准备工作二、准备 DolphinScheduler 启动环境1.配置用户免密及权限2.配置机器 SSH 免密登陆3.启动 zookeeper4.初始化数据库5.修改相关配置5.修改 dolphinscheduler_env.sh 文件 三、启动DolphinScheduler四、登录 DolphinS… 海豚调度系列之集群部署Cluster 一、前置准备工作二、准备 DolphinScheduler 启动环境1.配置用户免密及权限2.配置机器 SSH 免密登陆3.启动 zookeeper4.初始化数据库5.修改相关配置5.修改 dolphinscheduler_env.sh 文件 三、启动DolphinScheduler四、登录 DolphinScheduler五、启停服务 集群部署目的是在多台机器部署 DolphinScheduler 服务用于运行大量任务情况。
一、前置准备工作
JDK下载JDK (1.8)安装并配置 JAVA_HOME 环境变量并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在可以跳过这步。二进制包下载 DolphinScheduler 二进制包海豚调度下载地址数据库 MySQL (5.7)如 MySQL 则需要 JDBC Driver 8.0.16注册中心ZooKeeper (3.8.0)进程树分析Fedora/Red/Hat/CentOS/Ubuntu/Debian 安装psmisc注意: DolphinScheduler 本身不依赖 Hadoop、Hive、Spark但如果你运行的任务需要依赖他们就需要有对应的环境支持
二、准备 DolphinScheduler 启动环境
1.配置用户免密及权限
创建部署用户并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例
# 创建用户需使用 root 登录
useradd dolphinscheduler# 添加密码
echo dolphinscheduler | passwd --stdin dolphinscheduler# 配置 sudo 免密
sed -i $adolphinscheduler ALL(ALL) NOPASSWD: NOPASSWD: ALL /etc/sudoers
sed -i s/Defaults requirett/#Defaults requirett/g /etc/sudoers# 修改目录权限使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin注意:
因为任务执行服务是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业所以部署用户需要有 sudo 权限而且是免密的。初学习者不理解的话完全可以暂时忽略这一点如果发现 /etc/sudoers 文件中有 “Defaults requirett” 这行也请注释掉
2.配置机器 SSH 免密登陆
由于安装的时候需要向不同机器发送资源所以要求各台机器间能实现 SSH 免密登陆。配置免密登陆的步骤如下
su dolphinschedulerssh-keygen -t rsa -P -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys注意: 配置完成后可以通过运行命令 ssh localhost 判断是否成功如果不需要输入密码就能 ssh 登陆则证明成功
3.启动 zookeeper
进入 zookeeper 的安装目录将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir./tmp/zookeeper
# 启动 zookeeper
./bin/zkServer.sh start4.初始化数据库
DolphinScheduler 元数据存储在关系型数据库中目前支持 PostgreSQL 和 MySQL。下面分别介绍如何使用 MySQL 和 PostgresQL 初始化数据库。
如果使用 MySQL 需要手动下载 mysql-connector-java 驱动 (8.0.16) 并移动到 DolphinScheduler 的每个模块的 libs 目录下其中包括 api-server/libs 和 alert-server/libs 和 master-server/libs 和 worker-server/libs 和 tools/libs。
mysql5.7
mysql -uroot -pmysql CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql GRANT ALL PRIVILEGES ON dolphinscheduler.* TO {user}% IDENTIFIED BY {password};
mysql GRANT ALL PRIVILEGES ON dolphinscheduler.* TO {user}localhost IDENTIFIED BY {password};mysql flush privileges;mysql 8
mysql -uroot -pmysql CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql CREATE USER {user}% IDENTIFIED BY {password};
mysql GRANT ALL PRIVILEGES ON dolphinscheduler.* TO {user}%;
mysql CREATE USER {user}localhost IDENTIFIED BY {password};
mysql GRANT ALL PRIVILEGES ON dolphinscheduler.* TO {user}localhost;
mysql FLUSH PRIVILEGES;可以通过快速的 Shell 脚本来初始化数据库
bash tools/bin/upgrade-schema.sh5.修改相关配置
部署脚本会通过 scp 的方式将安装需要的资源传输到各个机器上所以这一步我们仅需要修改运行install.sh脚本的所在机器的配置即可。
完成基础环境的准备后需要根据你的机器环境修改配置文件。配置文件可以在目录 bin/env 中找到他们分别是 并命名为 install_env.sh 和 dolphinscheduler_env.sh。
伪集群部署方式install_env.sh的配置
# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# Due to the master, worker, and API server being deployed on a single node, the IP of the server is the machine IP or localhost
ipslocalhost
sshPort22
masterslocalhost
workerslocalhost:default
alertServerlocalhost
apiServerslocalhost# DolphinScheduler installation path, it will auto-create if not exists
installPath~/dolphinscheduler# Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUserdolphinscheduler集群部署方式install_env.sh的配置
# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# 需要配置master、worker、API server所在服务器的IP均为机器IP或者localhost
# 如果是配置hostname的话需要保证机器间可以通过hostname相互链接
# 如下图所示部署 DolphinScheduler 机器的 hostname 为 ds1,ds2,ds3,ds4,ds5其中 ds1,ds2 安装 master 服务ds3,ds4,ds5安装 worker 服务alert server安装在ds4中api server 安装在ds5中
ipsds1,ds2,ds3,ds4,ds5
mastersds1,ds2
workersds3:default,ds4:default,ds5:default
alertServerds4
apiServersds55.修改 dolphinscheduler_env.sh 文件
文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置
DolphinScheduler 的数据库配置一些任务类型外部依赖路径或库文件如 JAVA_HOME 和 SPARK_HOME都是在这里定义的
如果您不使用某些任务类型您可以忽略任务外部依赖项但您必须根据您的环境更改 JAVA_HOME、注册中心和数据库相关配置
# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME${JAVA_HOME:-/opt/soft/java}# Database related configuration, set database type, username and password
export DATABASE${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE${DATABASE}
export SPRING_DATASOURCE_URLjdbc:postgresql://127.0.0.1:5432/dolphinscheduler
export SPRING_DATASOURCE_USERNAME{user}
export SPRING_DATASOURCE_PASSWORD{password}# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM${MASTER_FETCH_COMMAND_NUM:-10}# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING${REGISTRY_ZOOKEEPER_CONNECT_STRING:-localhost:2181}# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME${HADOOP_HOME:-/opt/soft/hadoop}
export HADOOP_CONF_DIR${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME${HIVE_HOME:-/opt/soft/hive}
export FLINK_HOME${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER${DATAX_LAUNCHER:-/opt/soft/datax/bin/python3}export PATH$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH三、启动DolphinScheduler
使用上面创建的部署用户运行以下命令完成部署部署后的运行日志将存放在 logs 文件夹内
bash ./bin/install.sh注意: 第一次部署的话可能出现 5 次sh: bin/dolphinscheduler-daemon.sh: No such file or directory相关信息此为非重要信息直接忽略即可
四、登录 DolphinScheduler
浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统 UI。默认的用户名和密码是 admin/dolphinscheduler123
五、启停服务
# 一键停止集群所有服务
bash ./bin/stop-all.sh# 一键开启集群所有服务
bash ./bin/start-all.sh# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server注意 1:: 每个服务在路径 /conf/dolphinscheduler_env.sh 中都有 dolphinscheduler_env.sh 文件这是可以为微 服务需求提供便利。意味着您可以基于不同的环境变量来启动各个服务只需要在对应服务中配置 /conf/dolphinscheduler_env.sh 然后通过 /bin/start.sh 命令启动即可。但是如果您使用命令 /bin/dolphinscheduler-daemon.sh start 启动服务器它将会用文件 bin/env/dolphinscheduler_env.sh 覆盖 /conf/dolphinscheduler_env.sh 然后启动服务目的是为了减少用户修改配置的成本.
注意 2:服务用途请具体参见《系统架构设计》小节。Python gateway service 默认与 api-server 一起启动如果您不想启动 Python gateway service 请通过更改 api-server 配置文件 api-server/conf/application.yaml 中的 python-gateway.enabled : false 来禁用它。
