Mesos是一个开源的资源管理系统,可以对集群中的资源做弹性管理,目前twitter, apple等公司在大量使用mesos管理集群资源,大家记得apple的siri吗,它的后端便是采用的mesos进行资源管理(自行在网上查找文章:“新一代Siri后端将采用开放源代码平台Mesos”)。国内也有零零散散的公司在使用mesos,比如豆瓣。
Mesos是高仿google内部的资源管理系统borg(论文已经发表)实现的,随着近期它对docker容器支持的越来越好,将备受关注。(注:Mesosphere,一家试图围绕 Apache Mesos 项目开展商业活动的公司,不久前从 Andreessen Horowitz 那里获得了 1000 万美元投资。他做的事情就是用开源方案实现一个borg,选用的技术栈是:mesos+docker)。
谈到资源管理系统,更多人一下子想到的是Hadoop生态系统中的YARN,如何看待它与mesos的关系。
目前看来,Hadoop YARN要比Mesos更主流,前景更广阔。YARN在实现资源管理的系统前提下,能够跟hadoop生态系统完美结合,在YARN的东家hortonworks看来,YARN定位为大数据中的数据操作系统,能够更好地为上层各类应用程序(MapReduce/Spark)提供资源管理和调度功能。另外,非常重要的一点,YARN的社区力量要比Mesos强大的多,它的参与人员众多,周边系统的建设非常完善(包括最新诞生的apache二级项目Twill,Apache Twill ,cloudera的Kitten,均是方便大家使用YARN而诞生的项目)。
YARN是从MapReduce中演化而来的,因而在大数据处理中扮演重要角色,但这也使得它受限:它现在还不能看做是一个通用的资源管理系统,太多的内部实现过于狭隘,比如资源申请和分配模型,对长服务的支持等。不过,YARN自己仍把它定位在通用资源管理系统上,因而在不断改进,比如最近的版本中,增加了对长服务和docker的支持。
下面是Meos和YARN的对比:
总结
目前Mesos和YARN的优势还是稍有不同的,YARN更多地是用在大数据平台中,对上层计算框架支持的非常好;而Mesos更多是定位在资源的抽象和管理上,以便支持各种应用,不仅仅是计算框架。不过,随着两者的不断完善,他们之间的界限越来越模糊。
转自董的博客
相关推荐
阅读并注释mesos-1.2.0 Apache开源分布式资源管理框架mesos原始代码注释分析,添加mesos_framework_demo,带详细注释相关参考资料: LXC原始代码分析参考: docker源码注释分析参考:
Mesos:大数据资源调度与大规模容器运行最佳实践
【编者的话】Kubernetes是Google开源的容器集群管理系统,其提供应用部署、维护、扩展机制等功能。Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab...
juice 一套基于Mesos Framework的分布式任务调度云系统
该文档来自阿帕奇2015中国路演。闫航发表了题为“Docker on Mesos: 云计算的革命”的主题演讲,欢迎下载!
服务质量 Mesos框架通过分布式遥测解决网络退化
而且Docker优良的可移植性加上Mesos强大的分布式资源管理功能,基于Mesos和Docker实现的分布式应用具有很好的弹性伸缩能力,便于打造高可靠性企业级应用,极大地方便了企业开发部署分布式应用。
全球容器大会:基于Mesos的分布式操作系统 王璞@数人科技
Mesos人偶模块 兼容性注意:当前版本(0.6.x)要求puppetlabs-apt >= 2.1.0 ,该API... ' 192.168.1.2 ' , ' 192.168.1.3 ' ],}class { 'mesos::master' : work_dir => ' /var/lib/mesos ' , options => { quorum => 2
Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用,管理30万台服务器应用 本篇是mesos集群的搭建,以及微服务部署...
Mesos食谱 安装Mesos( )并配置mesos主服务器和从属服务器。 该食谱还支持通过源安装和软件包进行安装。 您可以使用node[:mesos][:type]属性( source或mesosphere )切换安装类型。平台当前仅支持ubuntu和centos ...
Apache Mesos是一个群集管理器,可提供有效的资源隔离和跨分布式应用程序或框架的共享。 它可以在动态共享的节点池上运行Hadoop,Jenkins,Spark,Aurora和其他框架。 请访问访问我们。 邮件列表 () () 文献...
SkyWalking:一个分布式跟踪系统和APM(应用程序性能监视器),专为微服务,云原生和基于容器(Docker,Kubernetes,Mesos)架构而设计。
该框架由一个Driver节点和一组slave组成。 驱动程序将完成所有繁重的工作,例如将 Elasticsearch 下载到工作节点,通过 HTTP 将集群配置提供给从站,以及监控实例。 它将自动修改配置文件以包含已知的 Elastic...
针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模...
一个框架,用于在集群中运行logstash。 您可以为所有其他框架配置日志记录,并进行logstash解析,然后将日志发送到ElasticSearch。 概述 该框架将尝试为每个从属服务器启动一个logstash进程。 用户为他要支持的框架...
awesome-mesos:关于Apache Mesos的一切
perl-mesos:Apache Mesos的Perl绑定
2. 什么是Kubernetes Kubernetes是Google开源的容器集群管理系统,其提供应用部署、维护、 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下:1) 使用Docker对应用程序包装...