- 浏览: 218110 次
- 性别:
- 来自: 烟台
文章分类
最新评论
-
KateAndNomi2333:
kunchong21 写道tinguo002 写道List l ...
ArrayList深拷贝的一种实现方法 -
kunchong21:
tinguo002 写道List list1 = new Ar ...
ArrayList深拷贝的一种实现方法 -
suihr:
你设置的操作系统的时区正确吗?
Tomcat5.5时区设置 -
xiao_Yao:
我用windows8 tomcat5.5无法 使用 呀
Tomcat5.5时区设置 -
hftgoodgood:
hftgoodgood 写道 ...
通用权限管理系统设计篇(三)——概要设计说明书
使用Java多线程实现任务分发
- 摘要:本文向你介绍使用Java多线程技术实现任务列表指派到线程的思路和执行过程,作者通过任务分发器、任务执行和工作线程实现了这个功能。
- 标签:Java多线程
多线程下载由来已久,如 FlashGet、NetAnts 等工具,它们都是依懒于 HTTP 协议的支持(Range 字段指定请求内容范围),首先能读取出请求内容 (即欲下载的文件) 的大小,划分出若干区块,把区块分段分发给每个线程去下载,线程从本段起始处下载数据及至段尾,多个线程下载的内容最终会写入到同一个文件中。
只研究有用的,工作中的需求:要把多个任务分派给Java的多个线程去执行,这其中就会有一个任务列表指派到线程的策略思考:已知:1. 一个待执行的任务列表,2. 指定要启动的线程数;问题是:每个线程实际要执行哪些任务。
使用Java多线程实现这种任务分发的策略是:任务列表连续按线程数分段,先保证每线程平均能分配到的任务数,余下的任务从前至后依次附加到线程中--只是数量上,实际每个线程执行的任务都还是连续的。如果出现那种僧多(线程) 粥(任务) 少的情况,实际启动的线程数就等于任务数,一挑一。这里只实现了每个线程各扫自家门前雪,动作快的完成后眼见别的线程再累都是爱莫能助。
实现及演示代码如下:由三个类实现,写在了一个 Java 文件中:TaskDistributor 为任务分发器,Task 为待执行的任务,WorkThread 为自定的工作线程。代码中运用了命令模式,如若能配以监听器,用上观察者模式来控制 UI 显示就更绝妙不过了,就能实现像下载中的区块着色跳跃的动感了,在此定义下一步的着眼点了。
代码中有较为详细的注释,看这些注释和执行结果就很容易理解的。main() 是测试方法
- package com.unmi.common;
- import java.util.ArrayList;
- import java.util.List;
- /**
- * 指派任务列表给线程的分发器
- * @author Unmi
- * QQ: 1125535 Email: fantasia@sina.com
- * MSN: kypfos@msn.com 2008-03-25
- */
- public class TaskDistributor {
- /**
- * 测试方法
- * @param args
- */
- public static void main(String[] args) {
- //初始化要执行的任务列表
- List taskList = new ArrayList();
- for (int i = 0; i < 108; i++) {
- taskList.add(new Task(i));
- }
- //设定要启动的工作线程数为 5 个
- int threadCount = 5;
- List[] taskListPerThread = distributeTasks(taskList, threadCount);
- System.out.println("实际要启动的工作线程数:"+taskListPerThread.length);
- for (int i = 0; i < taskListPerThread.length; i++) {
- Thread workThread = new WorkThread(taskListPerThread[i],i);
- workThread.start();
- }
- }
- /**
- * 把 List 中的任务分配给每个线程,先平均分配,剩于的依次附加给前面的线程
- * 返回的数组有多少个元素 (List) 就表明将启动多少个工作线程
- * @param taskList 待分派的任务列表
- * @param threadCount 线程数
- * @return 列表的数组,每个元素中存有该线程要执行的任务列表
- */
- public static List[] distributeTasks(List taskList, int threadCount) {
- // 每个线程至少要执行的任务数,假如不为零则表示每个线程都会分配到任务
- int minTaskCount = taskList.size() / threadCount;
- // 平均分配后还剩下的任务数,不为零则还有任务依个附加到前面的线程中
- int remainTaskCount = taskList.size() % threadCount;
- // 实际要启动的线程数,如果工作线程比任务还多
- // 自然只需要启动与任务相同个数的工作线程,一对一的执行
- // 毕竟不打算实现了线程池,所以用不着预先初始化好休眠的线程
- int actualThreadCount = minTaskCount > 0 ? threadCount : remainTaskCount;
- // 要启动的线程数组,以及每个线程要执行的任务列表
- List[] taskListPerThread = new List[actualThreadCount];
- int taskIndex = 0;
- //平均分配后多余任务,每附加给一个线程后的剩余数,重新声明与 remainTaskCount
- //相同的变量,不然会在执行中改变 remainTaskCount 原有值,产生麻烦
- int remainIndces = remainTaskCount;
- for (int i = 0; i < taskListPerThread.length; i++) {
- taskListPerThread[i] = new ArrayList();
- // 如果大于零,线程要分配到基本的任务
- if (minTaskCount > 0) {
- for (int j = taskIndex; j < minTaskCount + taskIndex; j++) {
- taskListPerThread[i].add(taskList.get(j));
- }
- taskIndex += minTaskCount;
- }
- // 假如还有剩下的,则补一个到这个线程中
- if (remainIndces > 0) {
- taskListPerThread[i].add(taskList.get(taskIndex++));
- remainIndces--;
- }
- }
- // 打印任务的分配情况
- for (int i = 0; i < taskListPerThread.length; i++) {
- System.out.println("线程 " + i + " 的任务数:" +
- taskListPerThread[i].size() + " 区间["
- + taskListPerThread[i].get(0).getTaskId() + ","
- + taskListPerThread[i].get(taskListPerThread[i].size() - 1).getTaskId() + "]");
- }
- return taskListPerThread;
- }
- }
- /**
- * 要执行的任务,可在执行时改变它的某个状态或调用它的某个操作
- * 例如任务有三个状态,就绪,运行,完成,默认为就绪态
- * 要进一步完善,可为 Task 加上状态变迁的监听器,因之决定UI的显示
- */
- class Task {
- public static final int READY = 0;
- public static final int RUNNING = 1;
- public static final int FINISHED = 2;
- private int status;
- //声明一个任务的自有业务含义的变量,用于标识任务
- private int taskId;
- //任务的初始化方法
- public Task(int taskId){
- this.status = READY;
- this.taskId = taskId;
- }
- /**
- * 执行任务
- */
- public void execute() {
- // 设置状态为运行中
- setStatus(Task.RUNNING);
- System.out.println("当前线程 ID 是:" + Thread.currentThread().getName()
- +" | 任务 ID 是:"+this.taskId);
- // 附加一个延时
- try {
- Thread.sleep(1000);
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
- // 执行完成,改状态为完成
- setStatus(FINISHED);
- }
- public void setStatus(int status) {
- this.status = status;
- }
- public int getTaskId() {
- return taskId;
- }
- }
- /**
- * 自定义的工作线程,持有分派给它执行的任务列表
- */
- class WorkThread extends Thread {
- //本线程待执行的任务列表,你也可以指为任务索引的起始值
- private List taskList = null;
- private int threadId;
- /**
- * 构造工作线程,为其指派任务列表,及命名线程 ID
- * @param taskList 欲执行的任务列表
- * @param threadId 线程 ID
- */
- public WorkThread(List taskList,int threadId) {
- this.taskList = taskList;
- this.threadId = threadId;
- }
- /**
- * 执行被指派的所有任务
- */
- public void run() {
- for (Task task : taskList) {
- task.execute();
- }
- }
- }
执行结果如下,注意观察每个Java多线程分配到的任务数量及区间。直到所有的线程完成了所分配到的任务后程序结束:
- 线程 0 的任务数:22 区间[0,21]
- 线程 1 的任务数:22 区间[22,43]
- 线程 2 的任务数:22 区间[44,65]
- 线程 3 的任务数:21 区间[66,86]
- 线程 4 的任务数:21 区间[87,107]
- 实际要启动的工作线程数:5
- 当前线程 ID 是:Thread-0 | 任务 ID 是:0
- 当前线程 ID 是:Thread-1 | 任务 ID 是:22
- 当前线程 ID 是:Thread-2 | 任务 ID 是:44
- 当前线程 ID 是:Thread-3 | 任务 ID 是:66
- 当前线程 ID 是:Thread-4 | 任务 ID 是:87
- 当前线程 ID 是:Thread-0 | 任务 ID 是:1
- 当前线程 ID 是:Thread-1 | 任务 ID 是:23
- 当前线程 ID 是:Thread-2 | 任务 ID 是:45
上面坦白来只算是基本功夫,贴出来还真见笑了。还有更为复杂的功能.
像Java多线程的下载工具的确更充分利用了网络资源,而且像 FlashGet、NetAnts 都实现了:假如某个线程下载完了欲先所分配段的内容之后,会帮其他线程下载未完成数据,直到任务完成;或某一下载线程的未完成段区间已经很小了,用不着别人来帮忙时,这就涉及到任务的进一步分配。再如,以上两个工具都能动态增加、减小或中止线程,越说越复杂了,它们原本比这复杂多了,这些实现可能定义各种队列来实现,如未完成任务队列、下载中任务队列和已完成队列等。
发表评论
-
eclipse下启动tomcat出现Setting property 'source' to 'org.eclipse.jst.jee.server: '错误的
2012-09-19 13:52 849eclipse下启动tomcat出现Setting pr ... -
java List remove 时的小问题
2011-11-16 17:33 1580From:http://hi.baidu.com/xia ... -
HP ProLiant DL380 G6 服务器 - 内存的插法详解
2011-11-15 14:05 2394HP ProLiant DL380 G6 服务器 - 内 ... -
Tomcat5.5时区设置
2011-10-21 11:00 1955项目中遇到Tomcat时间跟系统时间不一致的情况,在网上 ... -
记录tomcat控制台输出日志
2010-11-11 10:23 1645今天把用了2年的tomcat重新整了下,终于解决了日志的记录 ... -
成功配置tomcat的log4j日志系统,格式:HTML+每天以yyyy-mm-dd.log命名的日志文件
2010-11-11 10:19 6202http://www.blogjava.net/flysky1 ... -
关于img src值为空时,2次请求问题的深入调研
2010-08-25 14:19 1287http://hi.baidu.com/bdui/blog ... -
java String.getBytes()编码问题
2010-07-29 16:11 1627http://hi.baidu.com/miserce/b ... -
Java 中的位运算
2010-06-28 09:50 1017移位运算符 包括: “>> 右移 ... -
设置eclipse启动参数解决内存不足问题
2010-03-16 16:17 1938http://www.21jn.net/html/62/n-5 ... -
JAVA_高级特性(hashCode,clone,比较器,Class反射,序列化)
2010-02-03 10:06 1343http://blog.csdn.net/wjp5536509 ... -
com.mysql.jdbc.CommunicationsException: Communications link failure due to under
2010-01-16 14:08 2532com.mysql.jdbc.CommunicationsEx ... -
java术语(PO/POJO/VO/BO/DAO/DTO)
2010-01-13 16:01 919PO(persistant object) 持久对 ... -
Eclipse下插件安装
2009-11-09 14:09 893Eclipse plugin resource center ... -
Java/J2EE中文问题终极解决之道
2009-10-21 14:23 684Java/J2EE中文问题终极解 ... -
ArrayList深拷贝的一种实现方法
2009-09-16 11:29 15823大家应该理解浅拷贝和 ... -
ADO封装类实现文件
2009-09-14 15:51 1236http://developer.51cto.com 2 ... -
ExecutorService来进行线程池的方式实现多线程
2009-09-12 10:16 2136ExecutorService来进行线程池的方式实现多线程 ... -
openssl 生成pem 建立CA
2009-08-24 13:45 2222openssl 生成pem 建立CA 关 ... -
Java删除目录及目录下的所有文件
2009-08-21 15:45 2524Java删除目录及目录下的所有文件 java中删除目录事 ...
相关推荐
消息分发框架,基于java阻塞队列实现,生产者消费者模型 可用于任务分发,服务器消息消息,以及网络IO 性能优化,多线程
由三个类实现,写在了一个 Java 文件中:TaskDistributor 为任务分发器,Task 为待执行的任务,WorkThread 为自定的工作线程。代码中运用了命令模式,如若能配以监听器,用上观察者模式来控制 UI 显示就更绝妙不过了...
CsqDownloadManager概述一个支持多任务、任务多线程、断点续传的下载管理器,适用于较大文件下载。minSdkVersion 9。特点:1、支持多个下载任务(默认最多3个)同时下载,如果任务支持断点续传,可以配置此任务多...
在多处理机系统中情况确实如上所属,所有的任务在同一时刻分发给不同的cpu执行,这确实可以大幅度提高程序的执行效率。 但是在单处理机系统中我们却要换一个角度考虑并发。单处理机系统只有一个cpu,必然不能同时...
iOS启动框架,支持启动生命周期分发,启动任务分布式注册,启动任务依赖,支持设置启动任务在各生命周期的优先级,执行所在线程以及对其他启动任务的依赖。根据启动任务的依赖关系,检测循环依赖,并发执行,提升...
(1)如果设计正确,多线程程序可以通过提高处理器资源的利用率来提升系统吞吐率 (2)建模简单:通过使用线程可以讲复杂并且异步的工作流进一步分解成一组简单并且同步的工作流,每个工作流在一个单独的线程...
模仿 concurrent 多线程处理方式,进行分布式调用的 java 类库。使用该类库您可以轻松的设计分布式应用,比如 高可用异地容错应用、多任务分发应用... 一、使用场景 1.1、 高可用异地容错应用 举例:有这样的需求,...
多语言支持:尽管OpenCV主要使用C++编写,但它提供了丰富的API绑定,支持包括C、Python、Java、MATLAB、JavaScript等多种编程语言,方便不同领域的开发者使用。 开源与免费:OpenCV遵循BSD开源许可证发布,用户...
多语言支持:尽管OpenCV主要使用C++编写,但它提供了丰富的API绑定,支持包括C、Python、Java、MATLAB、JavaScript等多种编程语言,方便不同领域的开发者使用。 开源与免费:OpenCV遵循BSD开源许可证发布,用户...
发布-订阅、任务分发、请求-应答等。ZMQ 的快速足以胜任集群应用产品。它 的异步 I/O 机制让你能够构建多核应用程序,完成异步消息处理任务。ZMQ 有 着多语言支持,并能在几乎所有的操作系统上运行。ZMQ 是 iMatix ...
jwx是开源的java公众号开发MVC框架,基于spring配置文件和微信消息或事件注解,通过微信上下文处理一个或多个微信公众号服务请求。目的主要有两个,其一生封装微信请求xml消息为java实体对象,将返回对象转换为xml...
一个Vert.x有一个或多个事件循环线程组成,线程最大数量为主机有效的CPU核数。 Event Loop Vertical:事件的业务处理线程,存在于Event Loop中,用于处理非阻塞短任务。 Worker Vertical : 事件的业务处理线程,用于...
第16章 多线程——Java中的并发协作 343 16.1 线程的基本知识 343 16.1.1 多线程编程的意义 343 16.1.2 定义自己的线程 344 16.1.3 创建线程对象 345 16.1.4 启动线程 347 16.1.5 同时使用多个线程 ...
NIO 的特点:事件驱动模型、单线程处理多任务、非阻塞 I/O,I/O 读写不再阻塞,而是返 回 0、基于 block 的传输比基于流的传输更高效、更高级的 IO 函数 zero-copy、IO 多路复用 大大提高了 Java 网络应用的可伸缩性...
注释: 请确保您的 MessageBrokerImpl 是线程安全的,因为多个生产者和消费者可以同时使用代理字数不应该区分大小写###Part II – 日志记录 您的团队领导要求您使用通用日志记录框架(例如 log4j)向应用程序添加...
1.3.2 多任务 4 1.4 为什么选择 Linux 6 1.4.1 何时使用 Linux 6 1.4.2 服务器与工作站 6 1.4.3 推荐的硬件 7 1.4.4 移植到 Linux工作站 7 1.5 Linux分发包 8 1.6 升级或移植前的考虑 10 1.6.1 硬件兼容性 11 1.6.2 ...
消息代理是一个中间件产品,它的核心是一个消息的路由程序,用来实现接收和分发消息,并根据设定好的消息处理流来转发给正确的应用。它包括独立的通信和消息传递协议,能够实现组织内部和组织间的网络通信。设计代理...
LiveEventBus LiveEventBus是一款Android...线程分发 EventBus :cross_mark: :check_mark_button: :check_mark_button: :cross_mark: :cross_mark: :check_mark_button: RxBus :cross_mark: :cross_mark: :check_mar
分发列表 (Distribution List) ................................................................ 26 1.2.7 进程定义 (Process)................................................................................