家装网站,卖wordpress主题,有没有交流做服装的网站,没有基础学平面设计难吗架构演变之Flink架构的演变过程 一、 起初搭建整个大数据平台是基于CDH这一套资源管理和整合的CM资源管理器搭建的 整个平台包括了#xff1a; HDFS#xff0c;YARN#xff0c;HIVE#xff0c;zoozie,FLINK,Spark,Zookeeper等组件搭建而成#xff0c; 刚开始搭建的时候 HDFSYARNHIVEzoozie,FLINK,Spark,Zookeeper等组件搭建而成 刚开始搭建的时候所有的资源管理都是依靠YARN进行资源的管理调度和任务的查看 而当时我们搭建的Flink集群是基于YARN进行资源管理和调度的因为YARN中不仅仅包含着FLInk的资源也有hivezooziehdfs等等的资源这样容易造成yarn资源的过度使用容易引起整个底座的cpu以及内存的使用问题经过排查主要是由于FLink的使用资源引起的所以后续就把Flink从整个集群中剥离出来进行资源的隔离最后Flink采用了StandAlone HA部署但是这个目前还是存在问题后续根据项目进行优化
参考 FlinkHA 高可用集群部署
二、数据抽取架构的演变 直接用FLinkCDC抽取任务会导致源端数据库的cpu和内存急速上升以至于宕机 采用ogg的方式本质上是由源端库自动触发变化和全量数据解决了上面的问题
在抽取的过程中遇到的问题 1.ogg推送数据的数据格式 如果不是这种格式导致kafka消费数据没有数据 2. create table if not exists xxx( ID DECIMAL(19,0), XXXX primary key(ID) not enforced ) with ( connector kafka, topic 表名, properties.bootstrap.servers 10.100.XXX.XXXX:9092,10.100.XXX.XXXX:9092,10.100.XXX.XXXX:9092, scan.startup.mode earliest-offset, properties.group.id xxx, format ogg-json ); 注意这个format一定是那种形式推送采用那种形式的格式化json 3.注意源端数据库子段类型根据字段数据值的大小决定属于那种类型
flink ogg官网 Ogg | Apache Flink
