如何利用网站新闻做推广,minecraft做图网站,郑州新闻,wordpress 获取标签id---更多内容#xff0c;请移步“鲁班秘笈”#xff01;#xff01;---
“现在AI和数据处理密不可分#xff0c;80%的企业可以利用Apache NiFi轻松解决复杂的数据问题#xff0c;快速完成场景建设。犹如花上百来块钱在家享受一顿不亚于五星级西餐厅的法式大餐。对… ---更多内容请移步“鲁班秘笈”---
“现在AI和数据处理密不可分80%的企业可以利用Apache NiFi轻松解决复杂的数据问题快速完成场景建设。犹如花上百来块钱在家享受一顿不亚于五星级西餐厅的法式大餐。对于全栈式的数据分析师或者数据应用的Java研发工程师NiFi让其摆脱复杂的数据工程而是将精力放在分析和应用的创新之上。而NiFi的GUI也着实令人赏心悦目”
—小编 Apache NiFi
说到数据平台很多人的第一反应要么是ETL/ELT要么是Spark或Hadoop要么是Flink要么是各式各样的湖仓技术例如Delta Lake。小编多年来根据不同的业务场景规划落地不少数据平台很清楚的明白维护一套数据处理套件成本不菲。先不说调度引擎、运算引擎、数据治理引擎和存储引擎光是数据质量和产出效益就让很多企业管理者头疼况且现代化的技术体系都依托云原生这也是不小的一块投入。就算下定决心建设数据平台技术路线抉择和人才储备则是另一大难题。要知道如何选择最合适的技术至关重要和2B产品线的生死掌握在靠谱的产品经理手中一样。
现在AI时代已经到达如何快速且以较低的成本进行数据处理和微治理则十分重要。毕竟现在的节奏越来越快从商业的角度小投入快应用螺旋式的加大投资成为很多人的选择。回顾过去十年加之最近在数据领域的咨询量增加小编认为是时候介绍一下NiFi让它能够得到最对等的尊重。回顾这十年NiFi走得很稳正如它的官网所介绍的一样NiFi是强大、可靠、简单易用的处理和分发数据的系统。
Apache NiFi是Apache软件基金会的一个软件项目旨在自动化软件系统之间的数据流。它利用提取、转换、加载 ETL 的概念基于美国国家安全局 NSA 之前开发的“NiagaraFiles”软件该软件也是其现在名称的一部分——NiFi 的来源它在2014年NSA技术转让计划的开源的清单里面。
简单而言Apache NiFi是一款开源的数据流处理工具提供了强大的数据采集、传输、转换和处理能力。它可以帮助用户轻松地构建可扩展、高度可配置的数据流处理管道支持从各种来源包括本地磁盘、网络、传感器等获取数据并将其路由、转换、过滤和聚合后输出到各种目标包括 Hadoop、HDFS、Kafka、Solr等。同时Apache NiFi 还提供了直观的可视化界面帮助用户快速构建和管理数据流处理任务。 Apache NiFi的体系结构基于可插拔的Processor、Controller Service和自定义Extension使其能够快速适应不同的场景和需求同时保持高性能和可靠性。NiFi的里层还依托Java虚拟机建立在Spring基础上。根据处理流量的大小决定了其对系统资源的占用情况以及是否需要硬件支持。 如上图所示NiFi支持单机和集群模式。在分布式部署的情况下ZK作为分布式一致性的中间件。每个节点都建立在JVM的基础上中间是各种处理数据的Processor底层则是NiFi的数据存储仓库以及数据监管机制。 上图为数据流工程的一部分可以进行分领域设计。简单、干净和高可靠。 数据模型
NiFi的整体框架下数据模型被建模为FlowFile请记住这个术语。它由内容Content和属性Attribute两部分组成。毕竟在物理世界任何的数据消息都是由消息体和头部信息组成。一系列的处理组件在相同的规范下互相连接形成处理管道。数据会沿着管道进行流动形成数据流。同时NiFi的组件很丰富截止到1.27的版本已经接近400。不够用没问题可以自己定义。 每个组件都是FlowFile进FlowFile出。每份数据都会从流的开始传输到流的结束。默认情况下它使用已NiFi的存储介质作为机制例如本地磁盘因此NiFi对于I/O的要求比较高。 FlowFile Content存储着数据主体信息可以理解为文本内容可以是Json格式也可以是二进制文件等等。而FlowFileAttribute则是添加到每个FlowFile文件上面的Key-Value对也即为键值对。 这些属性的有一部分是NiFi系统给每个FlowFile加上例如FlowFile创建时间、FlowFile大小、uuid等等也可以使用户自行添加的属性对还可以是由Processor每个处理节点自己设置用来标明这些数据的特定属性或状态。
每个流的数据都可以在NiFi GUI可视化直观的跟踪和显示尤其可以追溯每份数据处理的链路图比如源头和处理的组件类似数据的血缘追踪。
