Apache NiFi 号称是一个易于使用、功能强大,但中文参考资料不多,本人英语又不好,慢慢摸索吧
简单的理解,NiFi 是以数据流的方式处理业务数据,就像生产线,通过多种途径(如数据库)获得数据后,通过后续多个节点的处理,得到预期的结果,然后进行输出(如持久化到本地、数据库等)。当然还有很多更高级的属性,比如集群、可扩展、可配置等等,这些以后在说吧,反正现在也不懂
NiFi的使用与配置界面是web页面。才开始学习,先见识一下这个东西的界面吧。
我使用的是win7系统,那就先下载window版的安装包,可以下载最新的Releases版本,当前是1.1.2,下载地址
http://mirrors.hust.edu.cn/apache/nifi/1.1.2/nifi-1.1.2-bin.zip,下载完后,解压到随便自定义的一个目录下。
NiFi允许在jvm上,且默认允许在8080端口下。所以要先配置一下java环境变量,我配置的是1.8,配置完成之后,从命令行中进入到刚刚的解压路径下,然后进入到bin目录,执行启动命令 run-nifi.bat,然后可以看到如下输出:
2017-02-22 09:47:52,269 INFO [main] org.apache.nifi.bootstrap.Command Starting Apache NiFi...
2017-02-22 09:47:52,270 INFO [main] org.apache.nifi.bootstrap.Command Working Directory: E:\apache\nifi\NIFI-1~1.1
2017-02-22 09:47:52,270 INFO [main] org.apache.nifi.bootstrap.Command Command: E:\java\jdk1.8.0_05\bin\java.exe -clas...
...
如果没有退出,则说明启动成功,没有成功的话,则检查一下启动日志,在log下。
启动成功后,则在浏览器中打开
http://127.0.0.1:8080/nifi/,另外,NiFi对浏览器的版本也是有要求的,具体参考官方网址。打开之后,神秘面纱终于揭开:
挺简介的
。
配置与使用,就是在这里进行了。
NiFi界面中的主要组件是Processor与Controller Service,还有链接这些组件的Relationship与Connection等等,画过流程图的应该都很容易理解,就和那个很类似。FlowFile就是在这个流中的待处理数据,所有其它的组件,都是为了处理这个而存在的。具体参考
https://nifi.apache.org/developer-guide.html
配置方法,可参考
https://nifi.apache.org/docs.html的
Apache NiFi User Guide
- 大小: 56.5 KB
分享到:
相关推荐
使用nifi来配置超级用户,需要安全证书,里面是我写的一个例子
NIFI用户
ETL对比datax-nifi
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步 网址:https://blog.csdn.net/chenwewi520feng/article/details/130622776 本文旨在介绍nifi与kafka的交互过程,即生产数据到kafka中,然后通过nifi消费kafka中的...
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。NiFi原来...
5、NiFi FileFlow示例和NIFI模板示例 网址:https://blog.csdn.net/chenwewi520feng/article/details/130614514 本文旨在介绍FlowFile属性和内容、模板和简单介绍一个应用示例。其中模板将是后续文章的主要使用内容...
Apache NiFi (nifi-1.19.1-bin.zip、nifi-toolkit-1.19.1-bin.zip)是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统。文件使用WinRAR分割两个压缩包,必须一起下载使用: Apache NiFi (nifi-...
基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式
使用大数据处理工具NIFI,进行数据从Postgresql中导入到MySql中,实现数据的同步处理,处理的时候,是带有分页的,因为作者正在做相关的项目,而,用nifi同步数据好说,如何,进行数据的分页同步不好弄,这里,主要是,采用...
资源是关于nifi的一些初步涉猎,包括了单机安装nifi,使用内置的zookeeper安装集群nifi,和使用外部的zookeeper安装nifi,已经使用nifi做些简单的操作。
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive 网址:https://blog.csdn.net/chenwewi520feng/article/details/130620988 本文旨在介绍通过实时监控mysql的binlog实现数据的实时同步至hive中。但由于...
由浅入深学习Nifi,从基础知识点到安装部署、集群配置和实战案例,通过知识点 + 案例教学法帮助小白快速掌握Nifi的使用。 课程亮点 1,国内第一套完整的Nifi视频课程。 2,涵盖了定时调度与ETL等功能,集群性能优异...
本文档主要介绍什么是NiFi、NiFi的架构、NiFi的特性、Nifi单点及集群部署、NiFi 处理器、NiFi集群页面的组件工具栏、NiFi集群页面的添加、配置处理器操作、数据来源和变量及表达式、NiFi案例应用,帮助你快速上手...
Apache Nifi 从初步认知核心概念介绍、了解技术架构、到源码解析、开发指南翻译 (中文),希望对新接触Nifi的朋友有所帮助。
Apache NiFi 是为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受...
Apache NiFi supports powerful and scalable directed graphs of data routing, transformation, and system mediation logic. Some of the high-level capabilities and objectives of Apache NiFi include:
nifi学习资料,笔记 NiFi用来处理数据集成场景的数据分发,BS结构的图形化。 1.高可用 2.高性能高并发 3.错误纠察 4.快速响应 5.兼容各种数据格式 6.安全性 7.方便迁移
1、nifi-1.9.2介绍、单机部署及简单验证 网址:https://blog.csdn.net/chenwewi520feng/article/details/130595158 本文主要介绍了NIFI是什麽、单机的部署、简单验证(以getFile为例)和相关组件。 本文的前提是安装...
NiFi管理员或数据流管理器(DFM)可能会发现,在单个服务器上使用NiFi的一个实例不足以处理它们拥有的数据量。 所以,一个解决方案是在多个NiFi服务器上运行相同的数据流。 但是,这会产生管理问题,因为每次DFM想要...
nifi 基于工作流数据抽取调度服务,介绍nifi的功能,安装步骤,使用指南等,支持ftp,sqoop,datx,https,flink等