下图是近来学习和用到的大数据方面的技术,现在做一个总结。并且在总结的过程中,也进行更加进一步的学习和了解。
以上为个人所接触到的大数据相关的一些技术,后续的章节将围绕这些技术展开,具体的介绍方式是从应用和原理两个方面进行。
1、大数据实时流架构
(1) 消息队列
消息队列是在不同的应用间做数据传递的,现在常用的主要包括Kafka,redis 队列,RabbitMQ,ZeroMQ,ActiveMQ 等。
(2)流式处理框架
流式处理框架主要是提供了一实时处理消息的计算框架,具体的实现是由业务方自己来写代码完成的。常见的有Storm、Spark Streaming、以及Flink。
(3) 存储
对于数据的存储,常规的关系型数据库(比如mysql、Oracle)也可以实现,但是对于大数据的存储,现在比较流行的比如是NoSql数据库,比如 Redis、MongoDB、HBase 这三种是最常用的。尤其对于Redis,很多大型公司都谁针对自己的业务场景对其进行封装,提供监控、报警和自动扩容等功能。
2、大数据离线流架构
(1)数据存储
目前大数据技术最常用的存储方式为:HDFS、Hive(基于HDFS)
(2)数据分析和处理工具
目前的数据分析处理工具主要是两个方向,MapReduce和Spark 。
MapReduce:常用的工具有原生Hadoop MapReduce,Hive SQL和Pig。其中Hadoop MapReduce是最基础的,HIve Sql和 pig都是对其进行的上层封装,就好像汇编语言是比较基础的编程语言,而C和Java是对其进行的上层封装,最终还要转成汇编一样的道理;
Spark 是目前最火的数据处理工具,没有之一。其与Hadoop相比,更大程度上利用了内存。
相关推荐
258页10万字大数据平台数据治理体系和大数据架构技术方案WORD.docx
系统架构概述 Yes, We KAO 更强,更高,更持久 阿里大数据架构全文共37页,当前为第1页。 了解什么是架构 了解Alibaba网站架构的历史 掌握Alibaba网站架构的现状 掌握网站架构设计的理念 课程目标和内容 阿里大数据...
大数据架构商业之路-从业务需求到技术方案,大数据架构、大数据思想介绍。
大数据参考架构围绕代表大数据价值链的信息价值链(水平轴)和IT价值链(垂直轴)两个维度组织展开。信息价值链表示大数据的应用理论作为一种数据科学方法,从数据到知识的处理过程中所实现的信息价值,其核心价值...
美团点评技术团队-餐饮生态大数据架构实践。用数据技术解决业务问题,最大限度的发挥数据价值,支持并驱动业务发展。
1、云时代大数据的特点 2、大数据带来哪些技术变革 3、华为大数据架构和具体实践
地理影像大数据技术架构及实践.ppt地理影像大数据技术架构及实践.ppt地理影像大数据技术架构及实践.ppt地理影像大数据技术架构及实践.ppt地理影像大数据技术架构及实践.ppt
工业大数据技术架构白皮书,以提供给对大数据相关技术需要进行了解的人事,期望有所帮助,尤其是很多从事工业环境中应用
上课课件收藏,HDFS操作方法和基础编程,Map Reduce基础编程,分布式计算,yarn架构,zookeeper ,hive,Zeppelin交互式数据分析。。等等
大数据平台技术框架选型分析 • 批处理引擎(MapReduce, Hive, Spark) - 适合长时间的数据处理作业,高度 成熟可靠 • 实时数据处理(Spark Streaming)- 实时的数据同时,异常检测,预测分析等 • 自助BI分析/交互...
大数据架构:大数据技术架构的思想和原理是什么 大数据技术其实是分布式技术在数据处理领域的创新性应用,本质和我们此前讲到的分布式技术思路一脉相承:用更多的计算机组成一个集群,提供更多的计算资源,从而满足更...
云计算医疗大数据系统架构研究.pdf云计算医疗大数据系统架构研究.pdf云计算医疗大数据系统架构研究.pdf云计算医疗大数据系统架构研究.pdf云计算医疗大数据系统架构研究.pdf云计算医疗大数据系统架构研究.pdf云计算...
详细介绍工业大数据架构的方法,同时,还有一些公司的案例。
《大数据架构商业之路从业务需求到技术方案》
31丨大数据架构:大数据技术架构的思想和原理是什么?.pdf
集团企业数字化转型IT技术架构规划方案共77页.pptx 集团企业数字化转型IT技术架构规划规划建设方案共76页.pptx 集团企业数字化转型OA办公系统门户建设方案共50页.pptx 集团企业数字化转型发展和建设方案共23页.pptx ...
大数据架构师的岗位职责全文共4页,当前为第1页。大数据架构师的岗位职责全文共4页,当前为第1页。大数据架构师的岗位职责 大数据架构师的岗位职责全文共4页,当前为第1页。 大数据架构师的岗位职责全文共4页,当前...
大数据技术及架构图解实战派.pptx
随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工作已经经历了长足的发展,尤其是以BI系统为主的数据分析,已经有了非常成熟和...