0 0

master worker模式0

最近我在设计一套系统,初步想法是利用一个master来控制所有的worker(执行实际操作),通过配置可以增加或减少worker的数量,并且可以监测worker的存活性,但不使用master来为worker分配“工作”。

worker可以看做是个线程,不断循环执行的线程。

不知大家是否有类似的框架或者实现,请提出您的意见,谢谢!
2014年7月14日 22:31

3个答案 按时间排序 按投票排序

0 0

采纳的答案

这不是典型的服务器 MASTER SLAVE 主从式的设计。例子不要太多啊...hadoop 就是活生生的例子。JobTracker 与 taskTracker 这些,master 的 Hmaster 与 HRegoin。。。按楼主意思,格局貌似很小,有一种pool的概念,注册插件的意思? 是不是要用master专门做监控的呢? 欢迎讨论,先给我分。

2014年7月18日 13:11
0 0

quartz

2014年7月18日 12:41
0 0

http://blog.chinaunix.net/uid-22939760-id-462075.html
http://www.cs.sjsu.edu/~pearce/modules/lectures/oop/templates/threads/index.htm

2014年7月17日 12:24

相关推荐

    论文研究-Master-Worker模式的并行关联规则挖掘算法 .pdf

    Master-Worker模式的并行关联规则挖掘算法,苗锡奎,,随着信息技术迅速发展,数据库的规模不断扩大,从而产生了大量的数据。如果使用传统的数据挖掘技术从这庞大的数据中挖掘出有价值

    master_worker_pattern:主工人模式演示

    Master-Worker是一个很好用的设计模式, 它可以把一个大工作分成很多小工作去执行, 等所有小工作都回来以后, 将所有的小工作结果做一个统整, 得到最终结果, 就很像专题小组有五个人, 把系统分成四等分, 每个人负责一...

    php实现 master-worker 守护多进程模式的实例代码

    主要介绍了php实现 master-worker 守护多进程模式的实例代码,代码简单易懂,非常不错,具有一定的参考借鉴价值 ,需要的朋友可以参考下

    cannon乘法mpi实现

    Master-Worker模式是常用的并行设计模式。它的核心思想是,系统有两个进程协议工作:Master进程和Worker进程。Master进程负责接收和分配任务,Worker进程负责处理子任务。当各个Worker进程将子任务处理完后,将结果...

    Spark独立部署模式

    Spark支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用,也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。

    Spark环境搭建——standalone集群模式

    这篇博客,Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 ... slave是集群中的worker节点含有Executor

    worker-pool:进入简单的异步工作池

    :books: 文献资料有关示例,请访问 有关GoDoc参考,请访问 :bus_stop: 如何使用 :bullet_train: 基准CPU:3.3 GHz Intel Core i7 内存:16 GB 2133 MHz LPDDR3 ➜ worker-pool git:(master) ✗ go test -bench=....

    Tensorflow分布式原理理解

    本文来自于it168,文章介绍了...TensorFlow有单机模式和分布式模式两种实现,其中单机指client、master、worker全部在一台机器上的同一个进程中;分布式的版本允许client、master、worker在不同机器的不同进程中,同

    PHP-多进程编程示例代码

    PHP-多进程编程示例代码,包含master-worker进程模式的实现和Timer定时器的实现

    详解通过源码解析Node.js中cluster模块的主要功能实现

    通常的解决方案,便是使用Node.js中自带的cluster模块,以master-worker模式启动多个应用实例。然而大家在享受cluster模块带来的福祉的同时,不少人也开始好奇: 为什么我的应用代码中明明有app.listen(port);,但...

    分布式爬虫框架Cola.zip

    启动cola worker:python bin/start_worker.py --master <master ip address> --data /my/path/data--data选项同master。如果不指定master,会询问是否连接到本机master,输入yes连接。最后使用bin下的coca....

    Node.js的进程管理的深入理解

    众所周知Node基于V8,而在V8中JavaScript是单线程运行的,这里的单线程不是指Node启动的时候就只有...通常解决方案就是使用Node的cluster模块,通过master-worker模式启用多个进程实例。下面我们详细讲述下,Node如何使

    Node.js的进程管理

    众所周知Node基于V8,而在V8中JavaScript是单线程运行的,这里的单线程不是指Node启动的时候就...通常解决方案就是使用Node的cluster模块,通过master-worker模式启用多个进程实例。下面我们详细讲述下,Node如何使用

    chronus:Chronus是360金融技术团队基于阿里开源项目TBSchedule重新安排的分布式调度

    Chronus是360金融技术团队基于阿里开源项目-TBSchedule进行重组的分布式调度平台,内部经历了5个变量版本。... Master-Worker模式,分布式调度,水平扩展,任务自动故障转移,解决大量作业调度问题。 调试组物

    spark-2.2.2安装流程

    ClusterManager:在Standalone模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器。 Worker:从节点,负责控制计算节点,启动Executor。在YARN模式中为NodeManager,负责计算节点的...

    sjf0115#PubLearnNotes#[20180321]Spark 运行日志1

    (1) 如果是Spark Standalone模式,我们可以直接在Master UI界面查看应用程序的日志,在默认情况下这些日志是存储在worker节点的wor

    15.Spark源码分析

    在StandAlone模式的start-all的shell启动脚本下,在当前机器执行了JAVA_HOME/bin/java -cp ….Master和在配置的slave的机器中执行 JAVA_HOME/bin/java -cp ….Worker.这两种进程在启动后通过netty进行rpc通信。 ...

Global site tag (gtag.js) - Google Analytics