传新闻到网站上怎么做,接网站建设的平台,宝应县城乡建设局网站,网站开发如何查看请求体注意#xff1a;
本节的操作#xff0c;需要前置准备好Hadoop生态集群#xff0c;请先部署好Hadoop环境 简介
Flink同spark一样#xff0c;是一款分布式内存计算引擎#xff0c;可以支撑海量数据的分布式计算
Flink在大数据体系同样是明星产品#xff0c;作为新一代的…
注意
本节的操作需要前置准备好Hadoop生态集群请先部署好Hadoop环境 简介
Flink同spark一样是一款分布式内存计算引擎可以支撑海量数据的分布式计算
Flink在大数据体系同样是明星产品作为新一代的综合计算引擎支持离线计算和实时计算。
在大数据邻域广泛应用是目前世界上除去spark以外应用最为广泛的分布式计算引擎。
spark更加偏向于离线计算而flink更加偏向于实时计算 安装
1、【node1执行】 下载安装包
wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz
解压到/export/server
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /export/server
构建软链接
ln -s /export/server/flink-1.10.0 /export/server/flink
2、【node1】修改配置文件conf/flink-conf.yaml
在vim编辑时可使用set paste粘贴模式
# jobManager 的IP地址
jobmanager.rpc.address: node1
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
#TaskManager JvM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
# 是否进行预分配内存默认不进行预分配这样在我们不使fLink集群时不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
# JobManager的Web界面的端囗(默认:8081)
jobmanager.web.port: 8081
3、【node1】 修改配置文件conf/slaves
node1
node2
node3
4、【node1】 分发flink安装包到其他机器
cd /export/server
scp -r flink-1.10.0 node2:pwd/
scp -r flink-1.10.0 node3:pwd/
5、【node2、node3】构建软链接
ln -s /export/server/flink-1.10.0 /export/server/flink
6、【node1】启动flink
/export/server/flink/bin/start-cluster.sh
7、验证flink启动
浏览器打开http://node1:8081
这里使用的端口8081与前一章节spark使用的端口一致需要关闭spark才能使用flink 至此Flink就部署完毕啦。
