#安装mesosphere repo
sudo rpm -Uvh http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm #下载apache mesos
wget http://downloads.mesosphere.io/master/centos/7/mesos-0.21.1-1.1.centos701406.x86_64.rpm
sudo rpm -Uvh mesos-0.21.1-1.1.centos701406.x86_64.rpm
#安装marathon
sudo yum -y install marathon
#安装chronos
sudo yum -y install chronos
ZooKeeper
On each node, replacing the IP addresses below with each master's IP address, set /etc/mesos/zk
to:
zk://1.1.1.1:2181,2.2.2.2:2181,3.3.3.3:2181/mesos
Quorum
Set /etc/mesos-master/quorum
to:
2
----------------------------------------
root 19973 1 0 18:51 ? 00:00:00 /usr/sbin/mesos-master --zk=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --port=5050 --log_dir=/var/log/mesos --quorum=2 --work_dir=/var/lib/mesos
root 19983 19973 0 18:51 ? 00:00:00 logger -p user.info -t mesos-master[19973]
root 19984 19973 0 18:51 ? 00:00:00 logger -p user.err -t mesos-master[19973]
root 20081 1 28 18:51 ? 00:00:06 java -Djava.library.path=/usr/local/lib -Djava.util.logging.SimpleFormatter.format=%2$s%5$s%6$s%n -Xmx512m -cp /usr/local/bin/marathon mesosphere.marathon.Main --zk zk://xd-1:2181,xd-2:2181,xd-3:2181/marathon --master zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos
root 20257 13510 0 18:51 pts/4 00:00:00 grep --color=auto mesos
-------------------------------------------
root 19973 1 0 18:51 ? 00:00:00 /usr/sbin/mesos-master --zk=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --port=5050 --log_dir=/var/log/mesos --quorum=2 --work_dir=/var/lib/mesos
root 19983 19973 0 18:51 ? 00:00:00 logger -p user.info -t mesos-master[19973]
root 19984 19973 0 18:51 ? 00:00:00 logger -p user.err -t mesos-master[19973]
root 20081 1 28 18:51 ? 00:00:06 java -Djava.library.path=/usr/local/lib -Djava.util.logging.SimpleFormatter.format=%2$s%5$s%6$s%n -Xmx512m -cp /usr/local/bin/marathon mesosphere.marathon.Main --zk zk://xd-1:2181,xd-2:2181,xd-3:2181/marathon --master zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos
root 20257 13510 0 18:51 pts/4 00:00:00 grep --color=auto mesos
-------------------------------------------
Verifying Installation
If the packages were installed and configured correctly, you should be able to access the Mesos console athttp://<master-ip>:5050
and the Marathon console at http://<master-ip>:8080
(where <master-ip>
is any of the master IP addresses).
Another quick way to verify your cluster works is to launch a task through mesos-execute
from any of the newly provisioned nodes:
MASTER=$(mesos-resolve `cat /etc/mesos/zk`)
mesos-execute --master=$MASTER --name="cluster-test" --command="sleep 5"
Besides the console output, which will show a task being created and changing status to RUNNING
and thenFINISHED
, you should also see a newly terminated framework on the frameworks page of the Mesos console.
====================
启动Master
[dev@xd-ui ~]$ tree /etc/mesos-master/
/etc/mesos-master/
├── hostname -->xd-ui
├── quorum -->1
└── work_dir -->/alidata1/mesos
重启Mesos Master:
[dev@xd-ui ~]$sudo service mesos-master restart
配置各个节点的Slaves
[dev@spark-1 ~]$ tree /etc/mesos-slave/
/etc/mesos-slave/
├── hostname xd-1
└── work_dir /alidata1/mesos
在各个节点上重启各个Mesos Slaves:
[dev@xd-ui ~]$sudo service mesos-slave restart
启动Master
[dev@xd-ui ~]$ tree /etc/mesos-master/
/etc/mesos-master/
├── hostname -->xd-ui
├── quorum -->1
└── work_dir -->/alidata1/mesos
重启Mesos Master:
[dev@xd-ui ~]$sudo service mesos-master restart
配置各个节点的Slaves
[dev@spark-1 ~]$ tree /etc/mesos-slave/
/etc/mesos-slave/
├── hostname xd-1
└── work_dir /alidata1/mesos
在各个节点上重启各个Mesos Slaves:
[dev@xd-ui ~]$sudo service mesos-slave restart
检查各个节点是否起来:
[dev@xd-ui ~]$sudo ps -ef | grep mesos
/usr/sbin/mesos-slave --master=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --log_dir=/var/log/mesos --hostname=xd-3 --
work_dir=/alidata1/mesos
/usr/sbin/mesos-slave --master=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --log_dir=/var/log/mesos --hostname=xd-2 --work_dir=/alidata1/mesos
/usr/sbin/mesos-slave --master=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --log_dir=/var/log/mesos --hostname=xd-1 --work_dir=/alidata1/mesos
修改:${SPARK_HOME}/conf/spark-env.sh:
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI=http://xd-gw/download/spark-1.2.0-dist.tar.gz
#export MASTER=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos
export MASTER=mesos://xd-ui:5050
修改spark-1.2.0-dist.tar.gz里面spark-1.2.0-dist/bin/spark-class或者conf/spark-env.sh
在首行添加:
export JAVA_HOME=/usr/share/jdk1.7.0_45
/usr/sbin/mesos-slave --master=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --log_dir=/var/log/mesos --hostname=xd-2 --work_dir=/alidata1/mesos
/usr/sbin/mesos-slave --master=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --log_dir=/var/log/mesos --hostname=xd-1 --work_dir=/alidata1/mesos
修改:${SPARK_HOME}/conf/spark-env.sh:
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI=http://xd-gw/download/spark-1.2.0-dist.tar.gz
#export MASTER=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos
export MASTER=mesos://xd-ui:5050
修改spark-1.2.0-dist.tar.gz里面spark-1.2.0-dist/bin/spark-class或者conf/spark-env.sh
在首行添加:
export JAVA_HOME=/usr/share/jdk1.7.0_45
#启动spark shell, 输入测试:
val data = 1 to 10000; val distData = sc.parallelize(data); distData.filter(_< 10).collect()
如下:
[dev@xd-ui spark-1.2.0-dist]$ ./bin/spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/01/22 16:07:46 INFO SecurityManager: Changing view acls to: dev
15/01/22 16:07:46 INFO SecurityManager: Changing modify acls to: dev
15/01/22 16:07:46 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(dev); users with modify permissions: Set(dev)
15/01/22 16:07:46 INFO HttpServer: Starting HTTP Server
15/01/22 16:07:46 INFO Utils: Successfully started service 'HTTP class server' on port 50256.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.2.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)
Type in expressions to have them evaluated.
scala> val data = 1 to 10000; val distData = sc.parallelize(data); distData.filter(_< 10).collect()
data: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 168, 169, 170...
====================
slaves
feameworks
Spark监控页面(4040端口)
Spark task
参考资料:
http://www.ulimit.top/sparkji-qun-pei-zhi-mesospherefang-an/
相关推荐
DC/OS and the Modern Enterprise Architecture proposed by Mesosphere for building and operating software applications and services
包的Mesosphere Universe注册表可用于DC / OS群集。 目录 宇宙目的 您可以在Universe资源库中发布和存储包。 然后,DC / OS可以使用这些软件包。 这个git repo促进了这三个必需的功能-发布,存储和使用包。 您可以...
该文档来自Spark Summit 2013峰会上来自Mesosphere公司的Paco Nathan的主题演讲。We will show a demo for how to launch a Mesos cluster and then deploy Spark. Then we’ll show a sample app based on PMML for...
Ansible-ansible-mesosphere.zip,用可分解中间层在ec2上安装中间层叠层,ansible是一个简单而强大的自动化引擎。它用于帮助配置管理、应用程序部署和任务自动化。
完成安装,且可以同任意数量的其它Mesos框架——包括Marathon、Spark、Kafka以及Jenkins等等——实现同地协作,从而共享来 自同一套集群中的各类资源。介绍来自 DockOne 标签:Kubernetes
zk原理分析
创建临时 Spark 集群的脚本 这个 repo 中的文件是 shell 脚本,让我可以使用 Mesosphere 在 Digital Ocean 云上创建一个 Spark 集群。 有关这一切如何运作的详细信息,请参阅我在博客文章。
Apache Mesos and Kubernates are often compared directly to each other as container orchestrators, but they were built with very different goals in mind.
具有受支持的DCOS支持的OS的DCOS群集节点的基础映像 将您的DCOS集群部署到的OpenStack项目/租户。 OpenStack租户中公共网络的ID-这是DCOS网络路由器面向公共接口的位置。 在您的机器上安装了 。 脚步 克隆此仓库。...
这是遵循 Mesosphere 教程设置 Apache Mesos 集群的 Ansible 自动化。 最后,您将获得一个功能强大的 Mesos 集群,其中部署了 nginx 的 Docker 镜像。 入门 在variables.yml ,考虑在aws.idempotency_id全新设置 AWS...
MConn是用编写的HA队列,与模块管理结合使用,充当Mesosphere背后的事件订阅者,以响应传入的任务事件并基于上/下缩放实现简单的后处理(用于Service-Discovery-Solutions) 。 我们的目标之一是框架设计,该框架...
可用状态 添加 mesosphere 包存储库并安装 mesosphere。 包括 mesosphere 来安装 mesosphere 并运行 mesos-master 服务。 Zookeeper 也会自动安装和启动。 包括 mesosphere 以安装 mesosphere 并运行 mesos-slave ...
语言:English Mesosphere DC / OS UI的深色主题 黑暗主题UI支持Mesosphere DC / OS UI。 多标签同步支持。 坚持选项。
簇用于 Mesosphere 挑战的 UI 仪表板#安装您必须安装节点才能安装此仪表板首先npm install安装所需的依赖项grunt运行 grunt 任务现在在你最喜欢的浏览器中运行index.html来享受截屏依赖关系jQuery - 轻松处理 js ...
因为您想降低成本,所以Mesos群集由低功耗计算机组成,因此您决定添加一些功能更强大的硬件和更快的磁盘。 因为您是使用Marathon将数据库部署在Docker容器中的,所以将容器重新安排到具有更强大硬件的机器上很简单...
马拉松用咕噜声控制 Mesosphere Marathon。入门如果您以前没有使用过 ,请务必查看指南,因为它解释了如何创建以及安装和使用 Grunt 插件。 熟悉该过程后,您可以使用以下命令安装此插件: npm install grunt-...
中间层套件Mesosphere Kit 旨在提供一种简单的方法来在 VirtualBox 环境中快速部署具有多个通用框架的 Mesos 集群。 它有助于对 Vagrantfile 有一个补救性的理解,但更重要的是,如何安装和使用 Vagrant。要求本项目...
为了充分利用这些角色,您的节点应类似于Mesosphere建议的设置基础结构的方式。 根据您的设置,它有望部署到: 一个或多个主节点(“主节点”) 一个引导节点(“ bootstraps”) 零个或多个代理节点,用于面向...
####首席解决方案架构师#####Mesosphere 2015-2015为 Mesosphere 聘用的第二位解决方案架构师。 帮助运营解决方案架构师团队,并告知新成员的招聘和培训流程。 基于该DCOS(d ATA c。输入操作摄像变体系)的中间层...