安徽建站公司,装修公司的收费标准,成都最新热门事件,传奇类网游文章目录 1. 资源准备2. 部署 Mariadb 数据库3. 安装CM服务4. 安装数据节点5. 登录CM系统 1. 资源准备 准备好CDH安装包资源#xff0c;官方网站下载需要账号#xff0c;如果没有账号可以去网上到处搜搜。主要涉及到的资源有#xff1a;
cloudera-manager-servercloudera-m… 文章目录 1. 资源准备2. 部署 Mariadb 数据库3. 安装CM服务4. 安装数据节点5. 登录CM系统 1. 资源准备 准备好CDH安装包资源官方网站下载需要账号如果没有账号可以去网上到处搜搜。主要涉及到的资源有
cloudera-manager-servercloudera-manager-daemonscloudera-manager-agentmysql-connector-java.jarCDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 以及相关校验值
2. 部署 Mariadb 数据库
安装 mariadb 服务
yum install mariadb-server启动数据库
systemctl enable mariadb
systemctl start mariadb初始化数据库配置
mysql_secure_installation若CM服务与数据库不在同一台机器上需要对数据库进行设置使其允许其他机器IP远程访问数据库。这点非常重要否则将会导致CM初始化数据库失败。
3. 安装CM服务
安装CM程序
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm修改数据库配置
vim /etc/cloudera-scm-server/db.properties# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
## The database type
# Currently mysql, postgresql and oracle are valid databases.
com.cloudera.cmf.db.typemysql# The database host
# If a non standard port is needed, use hostname:port
com.cloudera.cmf.db.hostmariadb-server-ip:port# The database name
com.cloudera.cmf.db.namecmf# The database user
com.cloudera.cmf.db.user用户名# The database users password
com.cloudera.cmf.db.password数据库密码# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupTypeEXTERNAL添加mysql驱动程序
cp mysql-connector-java-6.0.6.jar /usr/share/java/mysql-connector-java.jar复制CDH安装包到/opt/cloudera/parcel-repo目录
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json启动 cloudera-scm-server 服务
systemctl start cloudera-scm-server4. 安装数据节点 CM服务是集群的管理节点CM负责管理大数据集群内所有的数据节点数据节点上需要部署 agent 服务agent服务负责与CM服务通信CM 服务通过 agent 服务来管理集群内所有的数据节点。
安装 agent 服务
yum install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm修改 agent 配置
vim /etc/cloudera-scm-agent/config.ini [General]
# Hostname of the CM server.
server_hostk8s-node1# Port that the CM server is listening on.
server_port7182启动 agent 服务
systemctl start cloudera-scm-agent5. 登录CM系统 CM服务默认端口是 7180 默认账号以及初始密码是admin/admin。请确保 7180 端口没有被防火墙禁止。登录系统后将会做基础的配置根据需要选择合适的版本企业版需要购买LicenseExpress 版本免费使用但是支持的功能有限。
版本选择完成后进入到配置服务的页面 设置集群名称Express 版本最大支持100个主机这一步主要设置主机名建议将 hostname 设置成 CM 机器的主机名选择Currently Managed Hosts 选项卡将会显示出所有的 agent 节点。如果需要添加新节点可以选择 New Hosts 选项卡进行操作。New Hosts 选项卡中添加新节点需要有软件包管理服务。 开始安装Parcels 后续流程不在一一截图展示根据提示进行操作即可完成CDH的安装部署。基于CDH部署一套大数据平台比较容易难点在于真正发挥大数据业务分析价值不然淡出的搭建一套大数据平台而没有具体的有价值的业务去实践有点浪费资源。
