计算技术演变历程:
1、离线计算Mapreduce:大数据兴趣初期,满足海量数据的离线批处理需求;
2、流式计算Storm:满足电子商务,新闻聚合等、实时监管等实时统计需求,以数据流的驱动来触发计算,时效性高,一般可以达到秒级
3、实时计算Spark:满足海量数据的深度挖掘中机器学习/模式识别的迭代型算法,每次计算结果分布式的放在内存中,下一轮直接从内存中读取上一轮的数据,节省大量的IO开销
4、图计算:基于数据之间的潜在关联性分析,更好的进行实时预测和推荐,图形通过顶点与边的连接方式,能够更加直接的查找和计算关联关系
大数据挖掘技术:
1、深度学习:通过层次化的方式和海量的训练数据,从而提升分类或预测的准确性
2、多维数据关联:满足用户从多角度多层次进行快速数据查询和分析的数据模型,面向分析决策,解决传统数据模型在数据维度高、条数多的情况下,无法有效表示数据结构和语义,以及无法有效支持OLAP的问题。主要分析方法:钻取、上卷、切块、旋转
3、知识图谱:基于图结构刻画实体之间的关系的技术。
4、数据可视化
相关推荐
大数据与数据挖掘大数据与数据挖掘
基于大数据的Web数据集成及数据挖掘技术.pdf
大数据技术分享 数据仓库与数据挖掘 BI商业数据分析 数学建模专题培训 大数据技术基础知识 大数据挖掘 共68页.pptx
大数据数据挖掘案例 【篇一:大数据数据挖掘案例】 本文为系列文,该篇为第一篇。下面是正文: 简而言之,数据挖掘(data mining)是有组织有目的地收集数据,通过分析数据使之成为信息,从而在大量数据中寻找潜在...
本文介绍了数据挖掘技术的研究背景和研究现状,论述了决策树、支持向量机、神经网络等数据挖掘技术的相关算法,分析了数据挖掘技术在大数据中的相关应用及未来的发展趋势,探讨了在大数据时代数据挖掘技术面临的挑战。
基于大数据的电视用户收视行为数据挖掘与分析
大数据-数据挖掘大数据-数据挖掘
大数据》第4章大数据挖掘工具
大数据-互联网大规模数据挖掘与分布式处理
《大数据》第4章大数据挖掘工具.ppt
大数据技术分享 数据仓库与数据挖掘 BI商业数据分析 数据与数据探索 共65页.pptx
第一章 玩转大数据:深入浅出大数据挖掘技术1-9.mp4
大数据技术分享 数据仓库与数据挖掘 BI商业数据分析 数据仓库设计 共37页.ppt
玩转大数据:深入浅出大数据挖掘技术(Apriori算法、Tanagra工具、决策树).pdf
大数据技术分享 数据仓库与数据挖掘 BI商业数据分析 辽宁电信ODS介绍
大数据-互联网大规模数据挖掘与分布式处理]完整中文扫描版 好资源应当无条件共享
大数据技术基础大作业数据.zip