BigData 综述
Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互。
根据维基百科的定义,“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。
技术人员纷纷研发和采用了一批新技术,主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。
Eric Brewer提出著名的CAP定理,指出:一个分布式系统不可能满足一致性、可用性和分区容忍性这三个需求,最多只能同时满足两个。
BigData 处理方式
为了处理如此大量的数据,处理数据的方式势必和过去有所不同。各家厂商对于Big Data潮流都提供了不同解决方案。像数据中心的储存方案会从过去的SAN(Storage Area Network)架构,渐渐转成分布式的储存架构,而各家储存服务商,也更加强了软硬件的可靠性和速度,以回应Big Data的需求,让使用者可以获得更快、更好、更安全而且更便宜的服务。
而在数据处理的速度方面,Big Data时代的趋势是在收集数据的同时即开始分析运算,也加强软件优化,让原来需要2-3小时的运算,现在在2-3秒即可完成。而在档案的分类上,也从原来的数据库方式,变成了分布式文件格式。
分布式缓存:
memcached
分布式数据库:
Greenplum
分布式文件系统:
Google的GFS:
Hadoop: Hadoop具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户自己修改代码等特点,同时能支持海量数据存储和计算任务。
NoSQL:
HBase :是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。Google运行MapReduce来处理BigTable中的海量数据,HBase同样利用MapReduce来处理HBase中的海量数据;
MapReduce:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。
2013年大数据趋势预测:http://www.199it.com/archives/86385.html
1、Bigdata & Spatial Data
2、Bigdata & Cloud Computing
3、Bigdata & NoSQL
4、Bigdata & MapReduce
5、Bigdata & Location Service
IBM:用大数据解决波士顿堵车难题:每秒钟都有数以百万计的数据点信息,包括GPS和手机,这些数据经过分析处理后可以提供交通智能信息,是一个大数据项目,与物联网等基础设施进行连接和整合。http://www.199it.com/archives/54725.html
大数据(Big data)在TomTom路况导航中的应用:
TomTom利用实时监测超过八千万支匿名的移动电话,一百万台以上的TomTom Live卫星导航仪在路面上的移动速度,搭配RDS-TMC的道路交通资讯系统,建构一个完整而且即时的交通资料库。
http://www.lbsvision.com/archives/9767
网站:
http://www.infoq.com/cn/mapreduce
http://www.infoq.com/cn/news/2012/12/big-data-as-a-service
http://en.wikipedia.org/wiki/Big_data
http://www.ibm.com/developerworks/cn/bigdata/index.html
相关推荐
Title: Handbook of Big Data Technologies Length: 895 pages Edition: 1st ed. 2017 Language: English Publisher: Springer Publication Date: 2017-03-26 ISBN-10: 3319493396 ISBN-13: 9783319493398 Table of...
Big Data Architect’s Handbook: A Guide to build proficiency in tools and systems used by leading Big Data experts A comprehensive end-to-end guide that gives hands-on practice in big data and ...
HCIA-Big Data V3.0 培训教材.zip
Big Data Architect’s Handbook pdf A comprehensive end-to-end guide that gives hands-on practice in big data and Artificial Intelligence Key Features Learn to build and run a big data application ...
Learn the basics of analytics on big data using Java, machine learning and other big data tools This book covers case studies such as sentiment analysis on a tweet dataset, recommendations on a ...
华为认证HCIE Big Data认证培训资料 已解锁+无密码 真实理论+实验考题 想要考取华为HCIE Big Data认证的同学不容错过
HCIP-Big Data Developer (H13-723) 培训教材 HCIP-Big Data Developer (H13-723) 实验手册
Investors and technology gurus have called big data one of the most important trends to come along in decades. Big Data Bootcamp explains what big data is and how you can use it in your company to ...
Big Data Analysis for Bioinformatics and Biomedical Discoveries provides a practical guide to the nuts and bolts of Big Data, enabling you to quickly and effectively harness the power of Big Data to ...
The Enterprise Big Data Lake: Delivering the Promise of Big Data and Data Science By 作者: Alex Gorelik ISBN-10 书号: 1491931558 ISBN-13 书号: 9781491931554 Edition 版本: 1 出版日期: 2019-03-24 pages ...
Becoming a Big Data Architect: Expert techniques for architecting end to end Big Data solutions to get valuable insights A comprehensive guide to design, build and execute effective Big Data ...
Conquering Big Data with High Performance Computing October 18, 2016 | ISBN-10: 3319337408 | 327 pages | PDF | 8.74 MB This book provides an overview of the resources and research projects that are ...
bigdata架构白皮书,bigdata是开源的RDF数据库
Alex Gorelik - The Enterprise Big Data Lake_ Delivering the Promise of Big Data and Data Science-O’Reilly Media (2019)
MySQL 8 for Big Data 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 查看此书详细信息请在美国亚马逊官网搜索此书
Talend, a successful Open Source Data Integration Solution, accelerates the adoption of new big data technologies and efficiently integrates them into your existing IT infrastructure. It is able to do...
Big Data Analytics - A handy reference guide for data analysts and data scientists to help to obtain value from big data analytics using Spark on Hadoop clusters
This handbook brings together a variety of approaches to the uses of big data in multiple fields, primarily science, medicine, and business. This single resource features contributions from ...