`
tongsh6
  • 浏览: 2604 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

大数据工具清单

阅读更多

• MongoDB-一种非常流行的、跨平台、面向document的数据库。

• Elasticsearch-专为云计算设计的分布式REST风格的搜索引擎。

• Cassandra-一个开源的分布式数据库管理系统。最初是Facebook设计和开发的,部署在大量商用服务器上来处理大量的数据。高可用,无单点故障。

• Redis-开源的(BSD)内存数据结构存储、内存库、缓存、消息代理。

• Hazelcast-基于Java开发的内存数据网格。

• EHCache-广泛使用的开源Java分布式缓存、J2ee、轻量级容器。

• Hadoop-用java开发的开源分布式大数据框架,用来处理非常大规模数据,hadoop是集群化部署。

• Solr-使用java开发的开源企业级搜索平台。最初归属在Apache Lucene项目中。

• Spark-ASF中最活跃的项目,是一个开源的集群化计算框架。

• Memcached–通用分布式缓存系统。

• Apache Hive-在Hadoop支持类SQL封装,将SQL语句变成mr程序来执行。

• Apache Kafka–高吞吐量、分布式、消息发布-订阅系统,最早是Linkin开发的。

• Akka–Java开发的用来建造高并发,基于jvm弹性消息驱动的应用。

• Hbase-根据Google的BigTable论文开发的开源分布式非关系型数据库。开发语言是Java,用HDFS作为底层存储。

• Neo4j–用Java实现的开源图形数据库。

• CouchBase–面向Document的开源分布式NoSQL数据库,并且针对交互应用做过优化。

• Apache Storm–开源分布式实时计算系统。

• CouchDB–使用json来存储数据的开放源码面向文档的NoSQL数据库。

• Oracle Coherence–内存数据网格解决方案,使企业通过提供快速访问热数据来预测关键任务应用的规模。

• Titan–可扩展的图形数据库,针对集群存储和查询数千亿的图形数据做过优化。

• 亚马逊 DynamoDB – 一个快速、灵活NoSQL数据库,能够应对所有规模应用程序的需求,包括持久化、毫秒级延迟。

• Amazon Kinesis–AWS上的实时数据计算平台。

• Datomic–提供完整事务支持,云计算,分布式的数据库,开发语言用Clojure。

 

分享到:
评论

相关推荐

    大数据实验报告对应我的第二篇博客

    一、大数据平台的搭建 3 1. 架构设计 6 2 服务器集群的搭建 7 (1)安装Linux操作系统、 14 (2)安装大数据处理框架Hadoop 20 3 工具软件安装 21 (1)安装关系型数据库MySQL 26 (2)安装列族数据库HBase 27 (3)...

    大数据演讲[精华].pptx

    1 大数据或称为巨量资料,指的是所涉及的 资料规模巨大到无法通过主流软件工具,在合 理时间内达到获取、管理、处理并整理成为帮 助企业经营决策更积极目的资讯。 大数据分析相比于传统的数据仓库应用, 具有数据量...

    [详细完整版]大数据演讲.pptx

    1 大数据或称为巨量资料,指的是所涉及的 资料规模巨大到无法通过主流软件工具,在合 理时间内达到获取、管理、处理并整理成为帮 助企业经营决策更积极目的资讯。 大数据分析相比于传统的数据仓库应用, 具有数据量...

    大数据时代几个例子告诉你什么是大数据.docx

    工具类厂商蓄意炒作大数据,以达到售卖产品的目的,但导致的结果是很多人对大数据这一概念云里雾里。实际上,大数据就发生在你我身边,虽然你看不到它,但它却时时影响着我们的生活。 现阶段,和大数据相关的企业有...

    大数据时代-几个例子告诉你什么叫大数据.docx

    工具类厂商蓄意炒作大数据,以达到售卖产品的目的,但导致的结果是很多人对大数据这一概念云里雾里。实际上,大数据就发生在你我身边,虽然你看不到它,但它却时时影响着我们的生活。 现阶段,和大数据相关的企业有...

    大数据资源服务平台.docx

    提供大数据ETL整合工具,对各类源头数据库、文件及其它数据类型进行数据抽取,并在过程中进行清洗转换,将结果写入汇集库。 2.对ETL进行集中调度和监控(不少于1500个ETL任务) 3. 包含商业版数据整合管理系统1套 套...

    (南阳理工)大数据实验报告02.docx

    一、大数据平台的搭建(目录内容) 3 1. 架构设计 6 2 服务器集群的搭建 7 (1)安装Linux操作系统(目录内容)、 14 (2)安装大数据处理框架Hadoop(目录内容) 20 3 工具软件安装(目录内容) 21 (1)安装关系型...

    XX能源云数据平台建设项目_投标书_技术部分_V1.0.doc

     大数据平台提供面向数据分析师的若干工具,包括数据加工台,数据产品开发工具、数据可视化工具以及数据服务 REST API等。 (二)大数据展示平台: ..... (三)大数据管理平台: ..... 目录结构: 1 项目背景 3...

    《数据科学与大数据技术导论》数据的采集.pptx

    了解联机分析处理的常用工具。 目录 大数据的采集 4.1 4.2 大数据的预处理 4.3 联机分析处理 01 大数据的采集 PART ONE 引言 大数据采集是大数据技术体系中至关重要的一项技术,涉及不同的采集来源、方法和质量评估...

    数据挖掘算法工具包接口算法详解

    “大数据” 其实离我们的生活并不遥远,大到微博的海量用户信息,小到一个小区超市的月销售清单,都蕴含着大量潜在的商业价值。 正是由于数据量的快速增长,并且已经远远超过了人们的数据分析能力。因此,科学、...

    对大数据问题应用解决方案模式并选择实现它的产品

    本文使用了一个基于场景的方法,概述了可能有助于定义大数据解决方案的解决方案模式。每个场景都从一个业务问题开始,并说明为什么需要大数据解决方案。...在本文末尾处,列出了产品和工具清单,它们可映射到每一个

    bigdata-essentials:所有与大数据相关的工具一次集中存储即可构建框架

    大数据要点BigData入门/示例示例的仓库。基本数组阵列清单链表堆队列理论执行 树理论 堆理论 优先队列理论 图形理论执行 演算法 分布式计算 hdfsclients-quickstart Java客户端Python客户端 mapreduce-quickstart ...

    大数据告诉你,什么样的文章能获得疯转!

    网上也有很多相关的分享,今天小编要给大家分享的有点不一样,是基于大数据来作出的分析结果,希望能对你有所帮助。社交媒体追踪服务分析工具BuzzSumo,2014年5月前后对社交媒体上超过1亿篇文章进行了分析,试图找出...

    毕业设计&课程设计-运用Qt实现机房预约管理系统,学生提交申请,教师审核,管理员管理帐户及预约清单.zip

    qt项目,工具源码,适合毕业设计、课程设计作业,所有源码均经过严格测试,可以直接运行,可以放心下载使用。有任何使用问题欢迎随时与博主沟通,第一时间进行解答! 软件开发设计:PHP、QT、应用软件开发、系统软件...

    ListOfGithubLists:github列表列表

    精选的很棒的大数据框架,资源和其他很棒的清单 精选的优秀命令行框架,工具包,指南和小玩意的清单。 灵感来自awesome-php 精选列表的精选列表! 受灵感启发 精选SQLAlchemy额外库的清单 精选的工具,资源和工作...

    等级保护测评.rar

    包括:电力,大数据、卫生、工控行业、金融行业、广电行业测评标准1 1、水利行业测评标准1 2、税务行业测评标准1 2.税务行业测评标准 13、通信行业测评标准 4、证券行业测评标准 15、教育行业测评标准 16、...

    IT经理和大数据分析

    括处理和分析工具(MapReduce 和 HBase*) • 有关如何充分利用 Hadoop 的指南,重点介绍了英特尔能够在哪些方面 提供帮助,包括基础设施技术、优化和调试等 • 五个基础“未来步骤”,以及一份核对清单,以帮助 IT...

    大数据分析平台的需求报告模板.docx

    提供统一的数据导入工具,数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目。基于大数据...

    大数据分析平台的需求报告模板(1).docx

    提供统一的数据导入工具,数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目.基于大数据...

Global site tag (gtag.js) - Google Analytics