阅读更多

7顶
0踩

数据库

原创新闻 MongoDB Hadoop Connector 1.0 正式版发布

2012-04-11 14:41 by 副主编 wangguo 评论(5) 有9428人浏览
10gen(MongoDB数据库开发商)今天发布了MongoDB Hadoop Connector 1.0 正式版本。

MongoDB Hadoop Connector的核心功能是允许读取MongoDB数据到Hadoop MapReduce工作中,以及将MapReduce工作的结果写回到MongoDB。用户可以针对每个实例来选择结合使用或单独使用MongoDB的读、写操作。该连接器的目标是根据用户的反馈和需求,继续完善对Hadoop生态系统中组件的支持。


10gen称,1.0版是一个长期支持版本,将提供超过1年的维护,并致力于为用户带来MongoDB部署和Hadoop集群之间的坚实的整合层。该连接器支持Hadoop 0.20.x及之后发布的主要Hadoop版本。

该版本还提供了如下功能:

  • 从Apache Pig(大数据集分析平台)写入到MongoDB
  • 从Flume分布式日志系统写入到MongoDB
  • 在MapReduce中使用Python,并通过Hadoop Streaming读取和写入MongoDB数据
详细信息参阅:10gen博客

源码地址:https://github.com/mongodb/mongo-hadoop
  • 大小: 53.3 KB
7
0
评论 共 5 条 请登录后发表评论
5 楼 zihou 2013-03-13 16:51
        
4 楼 flysunmicro 2012-04-12 11:13
3 楼 倚地屠蛇 2012-04-12 10:04
占领地板
2 楼 jialeadmin 2012-04-12 09:27
占领板凳
1 楼 paomo30000 2012-04-12 09:16
占领沙发

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 大数据Hadoop之——Spark SQL+Spark Streaming

    大数据Hadoop之——计算引擎Spark,官方文档:https://spark.apache.org/sql/ 二、SparkSQL版本 1)SparkSQL的演变之路 1.0以前: Shark(入口:SQLContext和HiveContext) SQLContext:主要DataFrame的构建以及...

  • Apache Hadoop

    目前为止常用海量数据存储的解决方案:Hadoop HDFS、FastDFS/GlusterFS(传统文件系统)、MongoDB GridFS、S3等 计算 单机计算所能计算的数据量有限,而且所需时间无法控制。大数据提出一种新的思维模式,讲...

  • Hadoop生态圈技术概述

    装完hadoop2.6.0-cdh5.5.2后put命令不好使,并且装完hive后导入本地数据也报错,put命令一直报这个错: hadoop@debian:~$ hadoop fs -put he.tt /aaa 17/01/02 23:37:52 WARN hdfs.DFSClient: DataStreamer ...

  • Hadoop2.X管理与开发

    Hadoop 2.X 管理与开发 一、Hadoop的起源与背景知识 (一)什么是大数据 大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、...

  • 阿里Java面经大全(整合版)

    8.问我jdk看的第几版,嘴贱了一下,说了 1.8,然后问我hashmap默认的数据结构,果不其然问到了红黑树,然后问红黑树插入,果断不会,这太套路了 红黑树的增删改查都比较复杂,但是就是先操作,然后进行树的调整,...

  • 阿里云MongoDB与EMR的HelloWorld

    越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是...

  • (转)-Java-NIO

    Java NIO提供了与标准IO不同的IO工作方式: Channels and Buffers(通道和缓冲区):标准的IO基于字节流和字符流进行操作的,而NIO是基于通道(Channel)和缓冲区(Buffer)进行操作,数据总是从通道读取到...

  • Flink CDC 系列 - 实现 MySQL 数据实时写入 Apache Doris

    ▼ 关注「ApacheFlink」视频号,遇见更多大咖▼摘要:本文通过实例来演示怎么通过 Flink CDC 结合 Doris 的 Flink Connector 实现从 Mysql 数...

  • 大数据时代,数据实时同步解决方案的思考—最全的数据同步总结

    public class CanalClientExample { public static void main(String[] args) { while (true) { //连接canal CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils....

  • 大数据实训

    01 计算框架 离线计算:Hadoop MapReduce、Spark 实时计算:Storm、Spark Streaming、Flink 02 存储框架 文件存储:Hadoop HDFS、Tachyon、KFS NOSQL数据库:HBase、MongoDB、Redis 全文检索:ES、Solr 03 资源管理 ...

  • 17家国产数据库厂商的2020年度事件大盘点:项目签约与验收、新版本发布等

    每月月初,我们都会在墨天轮发布当月的数据库排行,总结数据库行业最新的发展动向以及行业人员应对变化的一些建议与思考。如今,2020年已过,除了新冠病毒疫情对全球各行各业带来了不少的消极影响...

  • 技术与时代并行丨DBAplus Newsletter(2017年2月)

    本期要闻:从DB-Engines近几年的趋势看数据库的变革;...MongoDB 3.4通过行业最严格的分布式数据库测试;Redis最新漏洞和修复……更多资讯请阅读全文。 本期目录一、推出DBAplus Newsletter的想法 二、DB-Eng...

  • Linkis1.0.2 安装及使用指南

    3.5.2.3.1 Kafka Connector 3.5.2.3.2 Mysql Connector 3.5.2.3.3 Mysql CDC Connector 3.5.2.3.4 Elasticsearch Connector 3.5.2.4 自定义开发 Connector 3.5.2.4.1 Redis Connector 3.5.2.4.2 MongoDB Connector ...

  • 大数据之MapReduce离线计算架构

    目前为止常用海量数据存储的解决方案:Hadoop HDFS、FastDFS/GlusterFS(传统文件系统)、MongoDB GridFS、S3等 计算 单机计算所能计算的数据量有限,而且所需时间无法控制。大数据提出一种新的思维模式,讲计算...

  • 大数据技术之 Flink-CDC

    Flink CDC 2.3.x 支持的数据库版本: Connector Database Driver mongodb-cdc MongoDB: 3.6, 4.x, 5.0 MongoDB Driver: 4.3.1 mysql-cdc MySQL: 5.6, 5.7, 8.0.x RDS MySQL: 5.6, 5.7, 8.0.x PolarDB MySQL: 5.6, ...

  • 基于matlab实现实现了基于项目的协同过滤代码,MATLAB实现.rar

    基于matlab实现实现了基于项目的协同过滤代码,MATLAB实现.rar

  • 各地区年末城镇登记失业人员及失业率.xls

    数据来源:中国劳动统计NJ-2023版

  • 企业固定资产信息管理系统设计与实现.doc

    企业固定资产信息管理系统设计与实现.doc

  • node-v11.14.0-darwin-x64.tar.xz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

Global site tag (gtag.js) - Google Analytics