`

NiFi 初识

    博客分类:
  • NiFi
阅读更多
    Apache NiFi 号称是一个易于使用、功能强大,但中文参考资料不多,本人英语又不好,慢慢摸索吧

    简单的理解,NiFi 是以数据流的方式处理业务数据,就像生产线,通过多种途径(如数据库)获得数据后,通过后续多个节点的处理,得到预期的结果,然后进行输出(如持久化到本地、数据库等)。当然还有很多更高级的属性,比如集群、可扩展、可配置等等,这些以后在说吧,反正现在也不懂

    NiFi的使用与配置界面是web页面。才开始学习,先见识一下这个东西的界面吧。

    我使用的是win7系统,那就先下载window版的安装包,可以下载最新的Releases版本,当前是1.1.2,下载地址http://mirrors.hust.edu.cn/apache/nifi/1.1.2/nifi-1.1.2-bin.zip,下载完后,解压到随便自定义的一个目录下。

    NiFi允许在jvm上,且默认允许在8080端口下。所以要先配置一下java环境变量,我配置的是1.8,配置完成之后,从命令行中进入到刚刚的解压路径下,然后进入到bin目录,执行启动命令 run-nifi.bat,然后可以看到如下输出:
2017-02-22 09:47:52,269 INFO [main] org.apache.nifi.bootstrap.Command Starting Apache NiFi...
2017-02-22 09:47:52,270 INFO [main] org.apache.nifi.bootstrap.Command Working Directory: E:\apache\nifi\NIFI-1~1.1
2017-02-22 09:47:52,270 INFO [main] org.apache.nifi.bootstrap.Command Command: E:\java\jdk1.8.0_05\bin\java.exe -clas...
...


    如果没有退出,则说明启动成功,没有成功的话,则检查一下启动日志,在log下。
    启动成功后,则在浏览器中打开http://127.0.0.1:8080/nifi/,另外,NiFi对浏览器的版本也是有要求的,具体参考官方网址。打开之后,神秘面纱终于揭开:
   


    挺简介的
    配置与使用,就是在这里进行了。

    
    NiFi界面中的主要组件是Processor与Controller Service,还有链接这些组件的Relationship与Connection等等,画过流程图的应该都很容易理解,就和那个很类似。FlowFile就是在这个流中的待处理数据,所有其它的组件,都是为了处理这个而存在的。具体参考https://nifi.apache.org/developer-guide.html

 
    配置方法,可参考https://nifi.apache.org/docs.htmlApache NiFi User Guide

   



  • 大小: 56.5 KB
分享到:
评论

相关推荐

    nifi配置超级用户_nifi_nifi配置超级用户_

    使用nifi来配置超级用户,需要安全证书,里面是我写的一个例子

    NIFI用户手册(中英文对照).pdf

    NIFI用户

    ETL对比datax-nifi

    ETL对比datax-nifi

    9、NIFI综合应用场景-通过NIFI配置kafka的数据同步

    9、NIFI综合应用场景-通过NIFI配置kafka的数据同步 网址:https://blog.csdn.net/chenwewi520feng/article/details/130622776 本文旨在介绍nifi与kafka的交互过程,即生产数据到kafka中,然后通过nifi消费kafka中的...

    apache nifi使用指南

    Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。NiFi原来...

    5、NiFi FileFlow示例和NIFI模板示例

    5、NiFi FileFlow示例和NIFI模板示例 网址:https://blog.csdn.net/chenwewi520feng/article/details/130614514 本文旨在介绍FlowFile属性和内容、模板和简单介绍一个应用示例。其中模板将是后续文章的主要使用内容...

    nifi-1.19.1-bin.part1.rar

    Apache NiFi (nifi-1.19.1-bin.zip、nifi-toolkit-1.19.1-bin.zip)是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统。文件使用WinRAR分割两个压缩包,必须一起下载使用: Apache NiFi (nifi-...

    基于nifi将mysql数据导入clickhouse

    基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式

    Nifi模板-PostGreSqlToMySql数据分页实时采集-带分页.zip

    使用大数据处理工具NIFI,进行数据从Postgresql中导入到MySql中,实现数据的同步处理,处理的时候,是带有分页的,因为作者正在做相关的项目,而,用nifi同步数据好说,如何,进行数据的分页同步不好弄,这里,主要是,采用...

    NiFi学习实践.doc

    资源是关于nifi的一些初步涉猎,包括了单机安装nifi,使用内置的zookeeper安装集群nifi,和使用外部的zookeeper安装nifi,已经使用nifi做些简单的操作。

    8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive

    8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive 网址:https://blog.csdn.net/chenwewi520feng/article/details/130620988 本文旨在介绍通过实时监控mysql的binlog实现数据的实时同步至hive中。但由于...

    小白由浅入深快速掌握NIFI使用视频教程

    由浅入深学习Nifi,从基础知识点到安装部署、集群配置和实战案例,通过知识点 + 案例教学法帮助小白快速掌握Nifi的使用。 课程亮点 1,国内第一套完整的Nifi视频课程。 2,涵盖了定时调度与ETL等功能,集群性能优异...

    NiFi实时离线数据采集工具

    本文档主要介绍什么是NiFi、NiFi的架构、NiFi的特性、Nifi单点及集群部署、NiFi 处理器、NiFi集群页面的组件工具栏、NiFi集群页面的添加、配置处理器操作、数据来源和变量及表达式、NiFi案例应用,帮助你快速上手...

    Apache Nifi 概念介绍、源码解析、开发指南(中文)

    Apache Nifi 从初步认知核心概念介绍、了解技术架构、到源码解析、开发指南翻译 (中文),希望对新接触Nifi的朋友有所帮助。

    NIFI 模板实例

    Apache NiFi 是为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受...

    nifi-toolkit-1.14.0-bin.zip

    Apache NiFi supports powerful and scalable directed graphs of data routing, transformation, and system mediation logic. Some of the high-level capabilities and objectives of Apache NiFi include:

    NiFi资料.zip

    nifi学习资料,笔记 NiFi用来处理数据集成场景的数据分发,BS结构的图形化。 1.高可用 2.高性能高并发 3.错误纠察 4.快速响应 5.兼容各种数据格式 6.安全性 7.方便迁移

    1、nifi-1.9.2介绍、单机部署及简单验证

    1、nifi-1.9.2介绍、单机部署及简单验证 网址:https://blog.csdn.net/chenwewi520feng/article/details/130595158 本文主要介绍了NIFI是什麽、单机的部署、简单验证(以getFile为例)和相关组件。 本文的前提是安装...

    nifi使用笔记

    NiFi管理员或数据流管理器(DFM)可能会发现,在单个服务器上使用NiFi的一个实例不足以处理它们拥有的数据量。 所以,一个解决方案是在多个NiFi服务器上运行相同的数据流。 但是,这会产生管理问题,因为每次DFM想要...

    apache nifi使用指南1.docx

    nifi 基于工作流数据抽取调度服务,介绍nifi的功能,安装步骤,使用指南等,支持ftp,sqoop,datx,https,flink等

Global site tag (gtag.js) - Google Analytics