`
smm11230704
  • 浏览: 86818 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

一切为了资源与效率:Java线程池

阅读更多

一、前言

 

在软件开发过程中,总会遇到一些瓶颈。开发效率瓶颈,人员技术瓶颈,运行效率瓶颈,服务器瓶颈,磁盘IO瓶颈,CPU、内存瓶颈。这些都限制了我们的软件无法尽善尽美。我们的目的就是为了克服和改善这些难题,使软件比想象中更完美。

 

二、具体问题

 

在数据库或者是流程工作时,很多操作都是由于最初软件设计的原因,或者是当初一些产品设计的原因,或者因为时间紧迫,或者逼不得已必须如此做,然后被设计成同步操作,导致工作效率产生瓶颈,没有充分发挥CPU和内存的功能,但是软件工作起来慢的要死。这时候就需要重构代码了。

 

三、解决方案

 

在CPU和内存还有磁盘IO并没有充分利用的时候,就可以在重构的时候,使用线程操作,将过去需要占用一定时间的同步操作,进行并发处理。这样,创建多个线程来解决同一个问题。这样就可以使操作成为异步,不需要进行等待就可以同时操作很多事情。

那么线程需要创建多少呢?

每监听到一个请求就创建一个线程,然后操作之后就销毁。这种办法可行么?

 

如果突然在客户端提交了1000000 * N 个请求,这些请求都进入服务器,然后在这里,为每一个请求都创建一个线程来执行。这样程序就会失去控制。最终挤爆服务器CPU和内存,使程序崩溃。

 

怎么样合理、可控的处理操作,变成了重点。

 

四、线程池的概念

 

线程池,顾名思义,在池化开发的现在,如数据库连接池这种开发模式已经广泛流行。

在池中创建连接实例,在访问数据库时,从连接池中取得连接,操作之后归还。这样就可以有效的限制资源数量,但是又能提高操作速度。

 

五、编码示意

 

package test.dao;

import java.util.LinkedList;

import org.apache.log4j.Logger;


/**
 * 
 * @author Andy.xiaomeng
 *
 */
public class ThreadPool {

	private static final Logger Log = Logger.getLogger(ThreadPool.class);
	
	private ThreadWorker[] worker;
	private LinkedList<Runnable> queue;
	private int poolSize;
	
	public int getPoolSize(){
		return poolSize;
	}
	
	//initialize thread pool with pool size
	public ThreadPool(int size){
		
		poolSize = size;
		worker = new ThreadWorker[size];
		queue = new LinkedList<Runnable>();
		
		for (int i = 0; i < size; i++) {
			worker[i] = new ThreadWorker(); 
			worker[i].start();
		}
		
	}
	
	
	
	//add work queue
	public void addQueue(Runnable runnable){
		synchronized(queue) {
			queue.add(runnable);
			queue.notify();
		}
	}
	
	//worker do work
	private class ThreadWorker extends Thread{
		
		public void run(){
			
			//runnable
			Runnable runable;
			
			while (true) {
				
				synchronized(queue) {
                    while (queue.isEmpty()) {
                        try
                        {
                        	//is work queue is empty, wait
                            queue.wait();
                        }
                        catch (Exception e)
                        {
                        	Log.error("pool queue wait", e);
                        }
                    }
                    
                    //get work in queue, and remove it 
                    runable = queue.removeFirst();
                }

                try {
                	//do work
                	runable.run();
                }
                catch (RuntimeException e) {
                	Log.error("unknow runtime exception", e);
                }
				
			}
		}
		
	}
	
	public static void main(String[] args) {
		
		//test
		ThreadPool pool = new ThreadPool(111);
		
		
		//
		class SSS implements Runnable{
			private String abc;
			public void setAbc(String aaaaa){
				this.abc = aaaaa;
			}
			
			public void run() {
				System.out.println("do runnable " + abc);
			}
		}
		
		for (int i = 0; i < 200; i++) {
			SSS a = new SSS();
			a.setAbc(String.valueOf(i + 1));
			pool.addQueue(a);
		}
		
	}
}

 英文不好,中文语法的英文注释,直译吧。。。。。。

 

 附带了main方法的测试案例。

 

 首先创建线程池对象,设置创建线程数量。

 

 将需要做的事情,封装成一个Runnable ,然后添加到队列中。

 

 队列通知线程执行操作。

 

觉得有用帮顶下,帮到你了请回复。。谢谢= =

5
2
分享到:
评论
6 楼 leafyyq 2011-11-17  
[size=large][size=small][color=red]LZ 你好帅哦~~!  [/color][/[color=orange][/color]size][/size]
5 楼 huoyj 2011-10-26  
楼主的这个可以作为一个理解线程池原理的例子确实简洁明了,不过JDK里面已经提供了,为什么不直接去用,功能还更强大。
4 楼 smm11230704 2011-10-25  
tan4836128 写道
有成功应用并实现的案例么,
研究LZ的代码只是看到实现的一种思路,不知上述代码能否实现LZ所说“1000000 * N 个请求”?
强烈建议附上性能分析,希望能有后续跟进


理论上来讲,只要你CPU和内存允许,你线程数你可以随意开的。
不过,能省则省。毕竟其他地方也是要资源的。
利用不能过度也不能过于清闲。
合理才是根本
3 楼 smm11230704 2011-10-25  
tan4836128 写道
有成功应用并实现的案例么,
研究LZ的代码只是看到实现的一种思路,不知上述代码能否实现LZ所说“1000000 * N 个请求”?
强烈建议附上性能分析,希望能有后续跟进



有的,我优化版本的代码就是用了这个线程池实现的。

一般都是使用20个线程来做。
之前很多同步的数据库操作阻塞操作。导致很多消息发送延时(移动互联网项目)

。所以现在重构了一下。
2 楼 dengli 2011-10-25  
Mark!
1 楼 tan4836128 2011-10-25  
有成功应用并实现的案例么,
研究LZ的代码只是看到实现的一种思路,不知上述代码能否实现LZ所说“1000000 * N 个请求”?
强烈建议附上性能分析,希望能有后续跟进

相关推荐

    ThreadPool:Java 线程池的使用 例子

    所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因。比如大家...

    Java线程池技术详解

    1.背景 在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是如此,虚拟机将试图跟踪每一个对象...线程池:存放线程。创建和销毁线程会浪费很多内存和cpu。

    Java线程池示例代码.zip

    为什么要用线程池: 减少了创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务 可以根据系统的承受能力,调整线程池中工作线线程的数目,防止因为因为消耗过多的内存,而把服务器累趴下(每个线程...

    java线程池详解

    1. 创建/销毁线程伴随着系统开销,过于频繁的创建/销毁线程,会很大程度上影响处理效率 例如: 记创建线程消耗时间T1,执行任务消耗时间T2,销毁线程消耗时间T3 如果T1+T3&gt;T2,那么是不是说开启一个线程来执行这...

    Java编程提高开发效率必备技能远离加班硬核知识详解(7.07G)

    第四天:JDK特性TWS与恰到好处地释放资源 第五天:Guava工具集的应用 第六天:线程池的高效使用策略 第七天:简洁高效的注解Lombok及注解机制讲解 第八天:注解约束参数校验的应用 第九天:jetbrains常用高效插件讲解提升...

    从使用到原理学习Java线程池

    所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些”池化资源”技术产生的原因。例如...

    Java并发Xmind思维导图

    在Java中,并发编程可以帮助我们更好地利用计算机资源,提高程序的效率和性能。 Java并发编程涉及到多个概念和知识点,包括线程、锁、并发集合、线程池、并发控制等等。这些概念和知识点相互关联和影响,形成了一个...

    java实现csv导出千万级数据实例

    轻松解决普通poi形式导出Excel的中出现的栈溢出问题,此资源可实现千万级数据分批导出csv文件,测试实现16500000条数据大概80秒左右;具体表里内容。

    并发思维导图Java并发编程的相关概念和知识

    在Java中,并发编程可以帮助我们更好地利用计算机资源,提高程序的效率和性能。 Java并发编程涉及到多个概念和知识点,包括线程、锁、并发集合、线程池、并发控制等等。这些概念和知识点相互关联和影响,形成了一个...

    Java优化编程(第2版)

    Java优化编程(第2版)通过丰富、完整、富有代表性的实例,展示了如何提升Java应用性能,并且给出了优化前与优化后的Java应用程序的性能差别,以实际的实例与数字告诉你,为什么不可以这么做,应该怎么做,深入分析...

    Java – 并发编程 – 线程池

    我们创建的线程在运行结束后都会被虚拟机销毁,如果线程数量多的话,频繁的创建和销毁线程会大大浪费时间和效率,更重要的是浪费内存,线程池可以让线程运行后不立刻销毁,而是让线程重复使用,继续执行其他任务 ...

    用Python实现一个简单的线程池

    所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁。如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些”池化资源”技术产生的原因。 我...

    Java多线程与线程安全实践-基于Http协议的断点续传的实现.rar

    可以使用Java中的多线程技术,例如通过创建多个线程同时下载文件的不同部分,从而提高下载速度和效率。 断点续传设计:为了支持断点续传,需要在下载过程中记录已下载的文件部分,并在下次下载时从断点处继续下载。...

    JAVA面试题最全集

    5.Java中的分页、效率考虑。 6.简单介绍您所了解的structs。 1.xml在项目中的作用 2.s-EJB 与 e-EJB的区别 3.会话面的作用 4.cmp与bmp的优缺点 5.j2me程序的必需的几个部分 6.c/s与b/s的区别 7.构建一...

    使用Java异步编程实现一个简单的网络请求.txt

    这个代码实现了一个简单的网络请求,使用了Java中的异步编程模型。...最后,我们关闭线程池以释放资源。 这个例子展示了如何使用Java异步编程模型来实现并发的网络请求,可以提高程序的效率和性能。

    WebSphere参数调优.txt

    、应用程序服务器 &gt; server1 &gt; Web 容器-&gt;线程池 Web 容器用来设置最大并发用户,它维护着一个线程池,用来处理接受到的jsp/servlet请求。 2、应用程序服务器 &gt; server1 &gt;ORB 服务-&gt;线程池 对象请求代理(ORB)...

    项目管理系统开发 Java 后端开发规范教程.docx

    一种普遍认可的方式一起做事,降低故障率,提升协作效率。 开发规范手册详细列举如何开发更加高效,更加容错,更加有协作性,力求知其然, 更知其不然,结合正反例,提高代码质量。比如,异常日志处理时的各种不...

    AndroidBase android 应用开发框架.zip

    如网络下载,多线程与线程池的管理,数据库ORM,图片缓存管理,图片文件下载上传,Http请求工具,SOAP工具类,异步Task,常用工具类(字符串,日期,文件处理,图片处理工具) 开发工具在软件开发生命周期中扮演着...

    阿里巴巴编码规范 基础技能认证 考题分析(考题+答案).docx

    线程资源必须通过线程池提供,不允许在应用中自行显式创建线程。 B .同步处理时,能锁部分代码区块的情况下不要锁整个方法;高并发时,同步调用应该考虑到性能损耗。 C .创建线程或线程池时,推荐给线程指定一个...

    爬虫的Demo

    本项目是基于Maven的,使用的是java语言开发的网络爬虫Demo,并且实现了分页爬取数据,采用多线程和线程池的技术,有效的加快了爬取资源的效率,内含有sql脚本,使用的是Mysql数据库,希望给大家带来帮助.....

Global site tag (gtag.js) - Google Analytics