资讯频道 → 数据库
阅读更多

2顶
0踩

数据库

原创新闻 eBay开源新数据库技术Kylin，支持TB到PB级数据量

2014-10-23 16:27 by 正式编辑 cao345657340 评论(3) 有8891人浏览
Kylin 数据库 Hadoop eBay SQL

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

【编者按】eBay开源了一种名为 Kylin 的数据库技术，eBay在周三的一篇博客上分享了Kylin 的诸多细节，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持 TB 到 PB 级别的数据量，Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。这些都表明eBay在使用Hadoop技术等方面取得了不俗的成绩。

以下为译文：

在线拍卖网站eBay开源了一种名为 Kylin 的数据库技术，该公司宣称这项技术能够在Hadoop上支持PB级数据存储的快速查询。eBay并不是像Google和Facebook那样的大数据公司，但它运用Hadoop等技术已经达到了一个相当大的规模，Kylin就是一个很好的例子，这说明它在该领域的创新已经走在前头。

eBay在周三的一篇博客上分享了Kylin的细节，包括REST API、ANSI-SQL兼容性、连接分析工具Tableau和Excel，以及在一些查询上低于秒级的延迟。然而， Kylin最独特的特性是它如何处理scale。eBay表示，它可以查询数十亿行数据——在高达14TB的数据集上，速度比使用传统的Apache Hive工具快得多。






Kylin工作在一个很高级别上，它从Hive取数据；使用MapReduce预处理大型查询；然后将这些结果作为键值cuboids存储在HBase上。当用户用一组特定的变量值运行一个Kylin查询，结果已经准备就绪，不需要再重新处理，这和已经使用多年的分析型数据库完全不同。

下面是eBay分享的Kylin如何在公司内部的使用情况：

    开放Kylin的时候，我们已经有一些eBay业务单元在生产中使用它。我们最大的用例是120+亿源记录生成的14 +TB cube。它的90%查询延迟小于5秒。现在，我们的用例瞄准分析师和业务用户，他们可以轻松的通过Tableau分析并且得到结果——不再需要Hive查询，shell命令等等。





想要知道Kylin在与下一版本的Hive、Spark SQL以及Hadoop SQL分析的其他选项较量中谁会胜出，将是一件非常有趣的事情，Kylin作为YARN资源管理器一部分可以在Apache Hadoop的最新版本上获得。我猜它会慢一点，但比内存选项或那些不需要MapReduce处理的更具扩展性，不过这对于那些仍然在运行更早软件版本的用户可能是一个可靠的选择。
  • 大小: 61.9 KB
  • 大小: 52.1 KB
来自: CSDN
2
顶
0
踩
评论 共 3 条 请登录后发表评论
3 楼 windshg 2014-10-24 11:17
http://www.meetqun.com/member.php?mod=register&fromuser=windshg
2 楼 houyujiangjun 2014-10-24 08:27
这些技术层出不穷啊
1 楼 fcoffee 2014-10-23 19:05
差点看成kylix

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 带你走进EJB--那些跟EJB容器相关的那些Java概念

    最近在对EJB的相关内容进行总结,在总结的过程中发现对容器的概念并不是很理解,因为EJB本身就是一个容器,但是容器到底是用来做什么的?它跟我们之前所了解的组件,框架,包,类等都有什么关系?接下来主要是从容器入手来理解这些概念.        对象,类,包,模块,组件,容器,框架,这些java属于他们都有一个共同的特点:容纳.但是他们彼此之间又有什么关系和联系么? 对象(Object):

  • J2EE总结之EJB总结

    EJB从我们一开始没怎么接触J2EE的时候就开始听说了，听说他是一个容器，听说他很高大上，但是对于我们这种java菜小鸟来说真的听不懂呀，这段时间经过我的广泛搜集资料，算是把他的基本定义和基本使用方式知道的差不多了。       我们都知道我们这部分学习的是J2EE，之前学习过J2SE，那么构建知识网的原则我们知道我们需要映射，知道他们之间的相同点和不同点，我们前期在学习J2SE的时候使用到了C

  • EJB到底是什么，真的那么神秘吗？？

    3.5.2 我们不禁要问，什么是"服务集群"？什么是"企业级开发"？既然说了EJB 是为了"服务集群"和"企业级开发"，那么，总得说说什么是所谓的"服务集群"和"企业级开发"吧！这个问题其实挺关键的，因为J2EE 中并没有说明白，也没有具体的指标或者事例告诉广大程序员什么时候用EJB 什么时候不用。于是大家都产生一些联想，认为EJB"分布式运算"指得是"负载均衡"提高系统的运行效率。然而，估计很多人都搞错了，这个"服务群集"和"分布式运算"并没有根本解决运行负载的问题，尤其是针对数据库的应用系统。为什么？我

  • 4-apache kylin企业级开源大数据分析平台

    　我先做一个简单介绍我叫史少锋，我曾经在IBM、eBay做过大数据、云架构的开发，现在是Kyligence的技术合伙人。 　Kylin是这两年在国内发展非常快的开源大数据项目。今天大会合作厂商中有超过一半的企业已经在...

  • Kylin

    这是商业智能的核心部分，主要是将不同数据源的数据整合到一起，通过多维分析为企业提供决策支持报表生成等。存入数据仓库的资料必定包含时间属性。 数据仓库和数据库主要区别： 一般来说，在传统 BI 领域里，...

  • 主流开源OLAP对比分析

    数据库按照应用场景划分可以分为OLTP和OLAP，OLTP是针对交易型的场景比如像银行的存取款、转账类业务，OLAP是针对分析型的场景比如用于企业决策支持的BI、报表类业务。而在OLAP领域，又可以根据具体技术实现分为...

  • 【转】使用Apache Kylin搭建企业级开源大数据分析平台

    　本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录：使用Apache Kylin搭建企业级开源大数据分析平台。 　正文如下 　我先做一个简单介绍我叫史少锋，我曾经在IBM、eBay做过大数据、云架构的开发...

  • Kylin_麒麟介绍

    Kylin简介 kylin-是由中国团队研发的，是第一个真正的由中国人自己主导，从零开始，并成为Apache顶级的开源项目，在此发表感叹国货之光。

  • 大数据开源框架技术汇总

    主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考得太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。

  • 1、apache-kylin-3.1.3-bin-hadoop3介绍及部署、验证详解

    Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。Apache Kylin™ 令使用者仅需三步，即可...

  • 大数据分析神兽麒麟(Apache Kylin)

    参考文章：大数据分析神兽麒麟(Apache Kylin) 1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大的局限，...

  • Kylin的入门实战

    kylin入门代码

  • 大数据相关开源项目汇总

    调度与管理服务 **Azkaban **是一款基于Java编写的任务调度系统任务调度，...**YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...

  • Kylin大数据分析

    Apache Kylin（Extreme OLAP Engine for Big Data）是一个开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集通过标准SQL查询及多维分析（OLAP）功能，提供亚秒级的交互式分析能力。...

  • Kylin系列-大数据分析界的“神兽”Apache Kylin有多牛？

    本文作者：李栋，来自Kyligence公司，也是Apache Kylin Committer & PMC member，在加入Kyligence之前曾就职于eBay、微软。 1.Apache Kylin是什么？   在现在的大数据时代，越来越多的企业开始使用Hadoop管理...

  • 调研----小米架构师：亿级大数据实时分析与工具选型

    曾在甲骨文公司从事数据库和应用服务器的研发工作。热爱架构设计和高可用性系统，特别对于大规模互联网软件的开发，具有丰富的理论知识和实践经验。 大家好，很高兴能跟大家分享一些关于实时数据分析的话题。 ...

  • Kylin基础

    它提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理 TB 乃至 PB 级别的分析任务，能够在亚秒级查询巨大的 Hive 表，并支持高并发。 1.1、为什么要使用kylin 自Hadoop 诞生以来，...

  • 大数据分析界的“神兽”Apache Kylin有多牛？

    关注“大数据杂谈”公众号，点击“加群学习”，更多大牛一手...实习编辑：Melody大家好，我是今天做微信分享的李栋，来自Kyligence公司，也是Apache Kylin Committer & PMC member，在加入Kyligence之前曾就职于eBay、

Global site tag (gtag.js) - Google Analytics