阅读更多
【编者按】Linkedin周二宣布开源其大数据计算引擎Cubert,其名字来源于鲁比克方块(Rubik’s Cube),为了让开发人员更容易使用Cubert,而无需做任何形式的自定义编码,Linkedin为此开发了新的编程语言Cubert Script。

以下为译文:

Linkedin周二宣布开源其大数据计算引擎Cubert,这个框架可以使用一种专门的算法来组织数据,让其在没有超系统负荷和浪费CPU资源的情况下,更轻松的运行查询。

Cubert,其名字来源于鲁比克方块(Rubik’s Cube),据悉,它可以作为一个Java应用程序,从而很容易被工程师接受,它包含一个“类似script用户界面”,因此工程师可以在运行查询时,使用诸如MeshJoin 和 Cube算法在组织数据上节省系统资源。

LinkedIn博客我们知道:
引用
现存引擎Apache Pig、Hive 以及Shark提供一个合乎逻辑的声明性语言,然后被翻译成一个实物计划。这个计划执行分布式引擎(Map-Reduce、Tez 或者Spark),在此物理操作者针对数据分区执行。最后,数据分区将由HDFS提供的文件系统抽象管理。




Cubert 架构

Cubert运行在Hadoop之上,新的框架可以抽象所有的存储到数据块,这将除了让操作者能帮助更好的管理数据之外,还能让其更易于运行它的资源节约算法,例如,COMBINE操作者可以合并多个数据块在一起,PIVOT操作者可以创建数据块的子集。

LinkedIn也创建了一门名为Cubert Script的新语言,其目的是使开发人员更容易使用Cubert,而无需做任何形式的自定义编码。

LinkedIn现在使用Cubert作为一个关键组件来处理数据。当Kafka实时消息传递系统从LinkedIn的众多应用程序中获取所有信息并将其发送到Hadoop,Cubert然后处理这些数据,以确保它不占用系统资源并帮助工程师解决“各种各样的统计、分析和图形计算问题。”

被处理后,数据流向LinkedIn的Pinot实时数据分析系统,然后该公司分析其众多数据跟踪特性,如最近谁查看了用户的资料。



LinkedIn Data Pipeline

现在Cubert已经和LinkedIn的基础设施连接,公司不再担心Hadoop脚本终结“在集群上占用太多资源”或浪费时间去做他们为此应该做的。
  • 大小: 136.5 KB
  • 大小: 32.1 KB
来自: CSDN
1
0
评论 共 4 条 请登录后发表评论
4 楼 a283037321 2014-11-18 08:46
喜欢linkedin
3 楼 diggywang 2014-11-15 14:56
linkedin 在java开源项目方面,贡献还是非常多的
2 楼 cnrainbing 2014-11-14 10:29
LinkedIn真是牛逼啊,都创造语言了!
1 楼 sunway00 2014-11-14 00:58
这什么翻译水准啊,还鲁比克方块,魔方不就完了。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • cobol语言----总结篇

    COBOL 是Common Business Oriented Language 的缩写。它不仅是商业数据处理的理想语言, 而且广泛用于数据管理领域,因此COBOL 语言也被称为“用于管理的语言”。 一。COBOL 语言的特点 最适于数据处理领域:算数计算量少而逻辑处理量多,输入输出量大,数据间存在着一定的逻辑 关系,大量的分类排序;COBOL比较接近英语,容易懂;通用性强,易移植,COBOL结构严谨,层次分明。

  • COBOL语言 :一种主要专注于解决业务问题的编程语言

    根据Micro Focus在2022年2月进行的一项全球调查,大约92%的受访者(来自49个国家的软件工程师、开发人员、IT主管和架构师)认为,今天开发的COBOL应用程序是为了服务于各自组织的战略目标。随着面向服务的体系结构(SOA)、REST和Web服务的兴起,新的协议和方法出现了,包括XML、HTML、WSDL、JSON和SOAP。COBOL的完整形式是面向业务的通用语言。COBOL的适应性和不断发展的特性使该语言经受住了时间的考验,并与现代api、微服务和云应用程序融合在一起。

  • COBOL入门到精通

    书籍地址:https://github.com/openmainframeproject/COBOL-programming-course 还记得前阵子,新泽西州州长 Phil Murphy 在新闻发布会上说,紧急聘退休的COBOL程序员么?这条新闻一出,很多人纷纷表示,要重新拿起COBOL书本开始学习。 程序员的效率总是如此的高,这不,这两天就有一本COBOL书籍登上了Github热榜。 该教程目标读者是那些想要学习COBOL编程工作理解的初学者。它描述了如何使用包括带有Zowe和Z Open E.

  • 什么是cobol语言,主要用来干嘛用的!(最近在其它做银行或证券的项目组常听到的关键字,搜到了一些基本概念)

    国内的某些银行的核心系统以及一些国外的大基金系统有些还是使用cobol语言(根据资料所说是一种比较老的通用商业语言),暂不具体学习.先学一下基本概念吧.以下是从yahoo中找到的资料:COBOL英文缩写: COBOL (Common business Oriented Language) 中文译名: COBOL语言 解 释: 一种适合于商业及数据处理的类似英语的程序设计语言。这种语言可使商业数

  • cobol语言简介

    机缘巧合之下做一个老项目翻新的项目,从cobol到java,我也学习了cobol的一些知识,记载一下我的cobol语言的学习。 cobol语言简介 cobol:common business oriented language(公用面向商业语言),这个语言目前使用面没有之前的广,也就需要了解对应cobol语言即可。不需要配置对应环境学习。 语言格式 如上图所示,在cobol程序中,1-6 列表示代码的序号区,代表当前序列,类似与行号。7列表示指示符区,如果是*,则表示此行为注释行。 程序结构 co..

  • COBOL语言初级教程(1)--COBOL简介

    最近由于工作需要,必须学习COBOL语言,将学习笔记整理出来,共享一下,希望有助于学习此方面的朋友。难免有错漏之错,望不吝赐教。1、COBOL简介COBOL是Common Business-Oriented Language(公用面向商业的语言)的缩写。COBOL针对商业世界使用,是真正商用应用程序开发的首选语言(过去如此,未来......呵呵)。它自60年代初就开始广泛应用于计算机应用领域(商业

  • COBOL语言介绍及使用场景

    COBOL是一种面向业务的通用计算机编程语言,适用于处理商业应用程序和大型企业级系统。它具有可读性强、稳定性和可靠性等优点,但也存在学习曲线陡峭和缺乏现代特性等缺点。COBOL在金融领域、大型企业应用和遗留系统维护等场景中得到广泛应用。

  • 什么是Cobol?

    在这个高速发展的技术时代,我们需要保持开放心态,不断学习和掌握新技术,同时也要敬重和尊重历史上创造出的先进技术。虽然它在当今互联网时代可能显得过时,但在一些传统领域,如finance、保险等,Cobol仍然是一种流行的编程语言。在这篇文章中,我们将介绍Cobol软件开发的一些关键方面,并探讨Cobol在互联网场景下的应用。​虽然Cobol在互联网时代的应用相对较少,但随着finance和保险行业的不断发展,Cobol仍然会持续发挥重要作用。Cobol的特点是:易于使用,易于维护,能够处理大量的数据。

  • COBOL语言介绍并推荐入门书籍(10本)

    最后,它打印排序后的数组。以上这些书籍都是COBOL语言入门的良好资源,它们提供了不同角度和层次的教学和实践内容,可以根据自己的需求选择适合的书籍进行学习。介绍:这本书是一本经典的COBOL教程,涵盖了COBOL的核心概念和编程技巧,包括模块化编程、文件处理和数据库集成等方面。介绍:这本书适合新手,提供了一个简洁易懂的入门指南,涵盖了COBOL的基础知识,包括语法、数据处理和文件处理等方面。介绍:这本书详细介绍了COBOL的结构化编程方法,通过实例和练习帮助读者理解和掌握COBOL的基本概念和技术。

  • 计算机语言cobol,COBOL计算机方言

    COBOL(Common Business Oriented Language)语言是一种适合于商业及数据处理的程序设计语言。这种语言可使商业数据处理过程精确表达。[1]中文名COBOL计算机方言外文名Common Business Oriented Language时间1959年文件处理功能顺序文件、随机文件、索引文件系统计算机应用学科计算机原理COBOL计算机方言概述编辑语音C...

  • cobol-简介

    cobol学习笔记

  • cobol基本语法

    cobol基本语法

  • COBOL基础知识

    COBOLChapter 1 : cobol概述COBOL 是Common Business Oriented Language 的缩写。它不仅是商业数据处理的理想语, 而且广泛用于数据管理领域,因此COBOL 语言也被称为“用于管理的语言”。一. COBOL 语言的特点         最适于数据处理领域:算数计算量少而逻辑处理量多,输入输出量大,数据间存在着一定的逻辑  关系,

  • C3-COBOL 基本语法

    COBOL 基本语法 2020-09-05 16:57 更新 字符集 字符是层次结构中的最底层,它们不能被进一步划分。在 COBOL 字符集包括 78 个字符,如下所示: 字符 描述 AZ 字母(大写) AZ 字母(小写) 0-9 数字 空格 + 加号 - 减号或连字符 * 星号 / 正斜杠 $ 货币符号 , 逗号 ; 分号 . 小数点或句号 “ 双引号 ( 左括号 ) 右括号 > 大于 < 少于 : 冒号

  • 2 COBOL 过程部初步 -----最基本的过程部语句

     一。输入输出语句。 1。ACCEPT语句:直接从终端键盘或系统指定的输入设备上输入数据。      ACCEPT   标识符 [FROM 助忆名] 注:A。标识符(identifier)指的是能唯一地标识一个数据项的数据名,不能唯一地标识一个               数据项的数据名不是标识符。标识符可以是组合项。         B。在ACCEPT语句中如不写FROM部分,如ACCEPT

Global site tag (gtag.js) - Google Analytics