IMF_Peter
- 浏览: 560 次
-
最新评论
文章列表
本课分成四部分讲解，第一部分对StreamingContext功能及源码剖析；第二部分对DStream功能及源码剖析；第三部分对Receiver功能及源码剖析；最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。
一、StreamingContext功能及源码剖析：
1、 通过Spark Streaming对象jssc，创建应用程序主入口，并连上Driver上的接收数据服务端口9999写入源数据：
2、 Spark Streaming的主要功能有：
主程序的入口；
提供了各种创建DStream的方法接收各种流入的数据源（例如：Kaf ...
本期内容：
1、Spark Streaming 动手实战演示
2、闪电般理解Spark Streaming原理
3、案例动手实战并在电光石火间理解其工作原理
流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。
日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等；通信时代的手机、平板、智能设备、物联网等会产生很多实时数据，数据流无处不在。
在大数据时代Spark Stre ...