- 浏览: 158079 次
- 性别:
- 来自: 南京
文章分类
最新评论
-
宋建勇:
示例不错,讲解也实在!受益了。
非主流并发工具之 ForkJoinPool -
yugouai:
我是用了0.11.0也是报同样的错误,是不是需要设置什么参数才 ...
Hive开窗函数测试-cube,rollup -
wankunde:
yugouai 写道你好,开窗函数的语法是您上面描述那样的吗? ...
Hive开窗函数测试-cube,rollup -
yugouai:
你好,开窗函数的语法是您上面描述那样的吗?hive> S ...
Hive开窗函数测试-cube,rollup -
wankunde:
yugouai 写道请问一下,什么叫hive的开窗函数?这个是 ...
Hive开窗函数测试-cube,rollup
ForkJoinPool
是 Java SE 7 新功能“分叉/结合框架”的核心类,现在可能乏人问津,但我觉得它迟早会成为主流。分叉/结合框架是一个比较特殊的线程池框架,专用于需要将一个任务不断分解成子任务(分叉),再不断进行汇总得到最终结果(结合)的计算过程。比起传统的线程池类ThreadPoolExecutor
,ForkJoinPool
实现了工作窃取算法,使得空闲线程能够主动分担从别的线程分解出来的子任务,从而让所有的线程都尽可能处于饱满的工作状态,提高执行效率。
ForkJoinPool
提供了三类方法来调度子任务:
execute
系列invoke
和 invokeAll
submit
系列Future
对象。子任务由 ForkJoinTask
的实例来代表。它是一个抽象类,JDK 为我们提供了两个实现:RecursiveTask
和 RecursiveAction
,分别用于需要和不需要返回计算结果的子任务。ForkJoinTask
提供了三个静态的 invokeAll
方法来调度子任务,注意只能在 ForkJoinPool
执行计算的过程中调用它们。
ForkJoinPool
和 ForkJoinTask
还提供了很多让人眼花缭乱的公共方法,其实它们大多数都是其内部实现去调用的,对于应用开发人员来说意义不大。
下面以统计 D 盘文件个数为例。这实际上是对一个文件树的遍历,我们需要递归地统计每个目录下的文件数量,最后汇总,非常适合用分叉/结合框架来处理:
// 处理单个目录的任务 public class CountingTask extends RecursiveTask<Integer> { private Path dir; public CountingTask(Path dir) { this.dir = dir; } @Override protected Integer compute() { int count = 0; List<CountingTask> subTasks = new ArrayList<>(); // 读取目录 dir 的子路径。 try (DirectoryStream<Path> ds = Files.newDirectoryStream(dir)) { for (Path subPath : ds) { if (Files.isDirectory(subPath, LinkOption.NOFOLLOW_LINKS)) { // 对每个子目录都新建一个子任务。 subTasks.add(new CountingTask(subPath)); } else { // 遇到文件,则计数器增加 1。 count++; } } if (!subTasks.isEmpty()) { // 在当前的 ForkJoinPool 上调度所有的子任务。 for (CountingTask subTask : invokeAll(subTasks)) { count += subTask.join(); } } } catch (IOException ex) { return 0; } return count; } } // 用一个 ForkJoinPool 实例调度“总任务”,然后敬请期待结果…… Integer count = new ForkJoinPool().invoke(new CountingTask(Paths.get("D:/")));
在我的笔记本上,经多次运行这段代码,耗费的时间稳定在 600 豪秒左右。普通线程池(Executors.newCachedThreadPool()
)耗时 1100 毫秒左右,足见工作窃取的优势。
结束本文前,我们来围观一个最神奇的结果:单线程算法(使用 Files.walkFileTree(...)
)比这两个都快,平均耗时 550 毫秒!这警告我们并非引入多线程就能优化性能,并须要先经过多次测试才能下结论。
转自:http://www.blogjava.net/shinzey/
实际测试
package com.forkjoin.countdir; import java.io.File; import java.util.ArrayList; import java.util.List; import java.util.concurrent.ForkJoinPool; import java.util.concurrent.RecursiveTask; import com.util.DateTime; public class CountTaskRecursive extends RecursiveTask { int sum =0; File file ; public CountTaskRecursive(File file) { this.file = file; } @Override protected Integer compute() { Integer csum =0; List<CountTaskRecursive> tasklist = new ArrayList<CountTaskRecursive>() ; if(file.isDirectory()) { for(File f:file.listFiles()) { CountTaskRecursive t = new CountTaskRecursive(f); tasklist.add(t); } } else csum ++; if(!tasklist.isEmpty()) { for(CountTaskRecursive t :invokeAll(tasklist)) csum += (Integer)t.join(); } return csum; } public static void main(String[] args) { DateTime dt = new DateTime() ; System.out.println("系统日期:"+dt.getDate()) ; System.out.println("中文日期:"+dt.getDateComplete()) ; System.out.println("时间戳:"+dt.getTimeStamp()) ; CountTaskRecursive task = new CountTaskRecursive(new File("F:\\私人资料")); Integer sum = (Integer)new ForkJoinPool().invoke(task); System.out.println(sum); dt = new DateTime() ; System.out.println("系统日期:"+dt.getDate()) ; System.out.println("中文日期:"+dt.getDateComplete()) ; System.out.println("时间戳:"+dt.getTimeStamp()) ; } }
package com.forkjoin.countdir; import java.io.File; import java.security.Timestamp; import java.util.Calendar; import com.util.DateTime; public class CountTaskSingle { static int sum = 0; public void countDir(File file) { if(file.isDirectory()) { for(File f:file.listFiles()) countDir(f); } else sum++; } public static void main(String[] args) { CountTaskSingle ins = new CountTaskSingle(); DateTime dt = new DateTime() ; System.out.println("系统日期:"+dt.getDate()) ; System.out.println("中文日期:"+dt.getDateComplete()) ; System.out.println("时间戳:"+dt.getTimeStamp()) ; ins.countDir(new File("F:\\私人资料")); System.out.println(sum); dt = new DateTime() ; System.out.println("系统日期:"+dt.getDate()) ; System.out.println("中文日期:"+dt.getDateComplete()) ; System.out.println("时间戳:"+dt.getTimeStamp()) ; } }
package com.util; import java.util.*; // 导入需要的工具包 public class DateTime { // 以后直接通过此类就可以取得日期时间 private Calendar calendar = null; // 声明一个Calendar对象,取得时间 public DateTime() { // 构造方法中直接实例化对象 this.calendar = new GregorianCalendar(); } public String getDate() { // 得到的是一个日期:格式为:yyyy-MM-dd HH:mm:ss.SSS // 考虑到程序要频繁修改字符串,所以使用StringBuffer提升性能 StringBuffer buf = new StringBuffer(); buf.append(calendar.get(Calendar.YEAR)).append("-"); // 增加年 buf.append(this.addZero(calendar.get(Calendar.MONTH) + 1, 2)).append("-"); // 增加月 buf.append(this.addZero(calendar.get(Calendar.DAY_OF_MONTH), 2)).append(" "); // 取得日 buf.append(this.addZero(calendar.get(Calendar.HOUR_OF_DAY), 2)).append(":"); // 取得时 buf.append(this.addZero(calendar.get(Calendar.MINUTE), 2)).append(":"); buf.append(this.addZero(calendar.get(Calendar.SECOND), 2)).append("."); buf.append(this.addZero(calendar.get(Calendar.MILLISECOND), 3)); return buf.toString(); } public String getDateComplete() { // 得到的是一个日期:格式为:yyyy年MM月dd日 HH时mm分ss秒SSS毫秒 // 考虑到程序要频繁修改字符串,所以使用StringBuffer提升性能 StringBuffer buf = new StringBuffer(); buf.append(calendar.get(Calendar.YEAR)).append("年"); // 增加年 buf.append(this.addZero(calendar.get(Calendar.MONTH) + 1, 2)).append("月"); // 增加月 buf.append(this.addZero(calendar.get(Calendar.DAY_OF_MONTH), 2)).append("日"); // 取得日 buf.append(this.addZero(calendar.get(Calendar.HOUR_OF_DAY), 2)).append("时"); // 取得时 buf.append(this.addZero(calendar.get(Calendar.MINUTE), 2)).append("分"); // 取得分 buf.append(this.addZero(calendar.get(Calendar.SECOND), 2)).append("秒"); // 取得秒 buf.append(this.addZero(calendar.get(Calendar.MILLISECOND), 3)).append("毫秒"); // 取得毫秒 return buf.toString(); } public String getTimeStamp() { // 得到的是一个时间戳 // 考虑到程序要频繁修改字符串,所以使用StringBuffer提升性能 StringBuffer buf = new StringBuffer(); buf.append(calendar.get(Calendar.YEAR)); // 增加年 buf.append(this.addZero(calendar.get(Calendar.MONTH) + 1, 2)); // 增加月 buf.append(this.addZero(calendar.get(Calendar.DAY_OF_MONTH), 2)); // 取得日 buf.append(this.addZero(calendar.get(Calendar.HOUR_OF_DAY), 2)); // 取得时 buf.append(this.addZero(calendar.get(Calendar.MINUTE), 2)); // 取得分 buf.append(this.addZero(calendar.get(Calendar.SECOND), 2)); // 取得秒 buf.append(this.addZero(calendar.get(Calendar.MILLISECOND), 3)); // 取得毫秒 return buf.toString(); } // 考虑到日期中存在前导0,所以在此处加上补零的方法 private String addZero(int num, int len) { StringBuffer s = new StringBuffer(); s.append(num); while (s.length() < len) { // 如果长度不足,则继续补0 s.insert(0, "0"); // 在第一个位置处补0 } return s.toString(); } };
执行结果:
单线程执行结果
系统日期:2012-05-09 23:59:07.468
中文日期:2012年05月09日23时59分07秒468毫秒
时间戳:20120509235907468
389578
系统日期:2012-05-09 23:59:56.421
中文日期:2012年05月09日23时59分56秒421毫秒
时间戳:20120509235956421
多线程执行结果
系统日期:2012-05-10 00:01:57.500
中文日期:2012年05月10日00时01分57秒500毫秒
时间戳:20120510000157500
389578
系统日期:2012-05-10 00:09:00.281
中文日期:2012年05月10日00时09分00秒281毫秒
时间戳:20120510000900281
发表评论
-
Java多线程之CyclicBarrier
2012-05-16 00:30 984import java.util.Random; impor ... -
JDK5-泛型
2012-05-14 22:01 836自己随便写的两个例子,可能说的不算全面吧! im ... -
java利用FutureTask、ExecutorService 在多核时代充分利用CPU运算
2012-05-09 01:15 1367FutureTask、ExecutorService 相关知识 ... -
ThreadLocal - 多线程共享变量的独立拷贝
2012-05-09 00:53 2093基本概念 为每一个使用该变量的线程都提供一个变量值 ... -
java 里面volatile
2012-05-09 00:35 887Volatile修饰的成员变量在每次被线程访问时,都强迫 ... -
阻塞队列使用---ArrayBlockingQueue
2012-05-04 19:28 538ArrayBlockingQueue是JAVA5中的一个阻塞队 ... -
Java线程同步 (synchronized wait notify)
2012-04-30 00:55 1213注:wait notify 都是Object的方法 ... -
jdk5 多线程学习
2012-04-30 00:50 1147多线程复习 线程有时称为 轻量级进程。与进程一样,它们 ... -
面试题学习1
2011-04-09 00:04 0JEE规范***列举 EJB三种,区别 Integer ... -
一个使用JSON-lib和json2.js的示例
2011-01-30 17:56 1209使用了JSON-lib.jar 以及apache的common ... -
JXL解析和生成Excel文件
2011-01-13 08:55 827JXL解析和生成Excel文件 -
约瑟夫环解决
2011-01-10 17:37 909package com; import java.uti ... -
DOM4J解析XML数据
2011-01-06 17:57 761详细见附件 -
Java解析XML四种方式
2011-01-06 17:21 792示例工程见附件 1.DOM生成和解析XML文档 ... -
MyEclipse打包SWT浅析
2010-08-07 09:44 1522MyEclipse打包SWT是什 ... -
String两种声明方式
2010-08-02 18:25 1311String a="hello"; 声 ... -
[转]string与stringbuffer的区别(经典)
2010-08-02 18:23 914string与stringbuffer的区别 ##### ... -
Web服务器和应用服务器的区别
2010-06-05 20:56 768通俗的讲,Web服务器传送(serves)页面使 ...
相关推荐
起点小说解锁.js
299-煤炭大数据智能分析解决方案.pptx
299-教育行业信息化与数据平台建设分享.pptx
网络技术和计算机技术发展至今,已经拥有了深厚的理论基础,并在现实中进行了充分运用,尤其是基于计算机运行的软件更是受到各界的关注。加上现在人们已经步入信息时代,所以对于信息的宣传和管理就很关键。系统化是必要的,设计网上系统不仅会节约人力和管理成本,还会安全保存庞大的数据量,对于信息的维护和检索也不需要花费很多时间,非常的便利。 网上系统是在MySQL中建立数据表保存信息,运用SpringBoot框架和Java语言编写。并按照软件设计开发流程进行设计实现。系统具备友好性且功能完善。 网上系统在让售信息规范化的同时,也能及时通过数据输入的有效性规则检测出错误数据,让数据的录入达到准确性的目的,进而提升数据的可靠性,让系统数据的错误率降至最低。 关键词:vue;MySQL;SpringBoot框架 【引流】 Java、Python、Node.js、Spring Boot、Django、Express、MySQL、PostgreSQL、MongoDB、React、Angular、Vue、Bootstrap、Material-UI、Redis、Docker、Kubernetes
时间复杂度是计算机科学中用来评估算法效率的一个重要指标。它表示了算法执行时间随输入数据规模增长而变化的趋势。当我们比较不同算法的时间复杂度时,实际上是在比较它们在不同输入规模下的执行效率。 时间复杂度通常用大O符号来表示,它描述了算法执行时间上限的增长率。例如,O(n)表示算法执行时间与输入数据规模n呈线性关系,而O(n^2)则表示算法执行时间与n的平方成正比。当n增大时,O(n^2)算法的执行时间会比O(n)算法增长得更快。 在比较时间复杂度时,我们主要关注复杂度的增长趋势,而不是具体的执行时间。这是因为不同计算机硬件、操作系统和编译器等因素都会影响算法的实际执行时间,而时间复杂度则提供了一个与具体实现无关的评估标准。 一般来说,时间复杂度越低,算法的执行效率就越高。因此,在设计和选择算法时,我们通常希望找到时间复杂度尽可能低的方案。例如,在排序算法中,冒泡排序的时间复杂度为O(n^2),而快速排序的时间复杂度在平均情况下为O(nlogn),因此在处理大规模数据时,快速排序通常比冒泡排序更高效。 总之,时间复杂度是评估算法效率的重要工具,它帮助我们了解算法在不同输入规模下的性
5G通信行业、网络优化、通信工程建设资料
网络技术和计算机技术发展至今,已经拥有了深厚的理论基础,并在现实中进行了充分运用,尤其是基于计算机运行的软件更是受到各界的关注。加上现在人们已经步入信息时代,所以对于信息的宣传和管理就很关键。系统化是必要的,设计网上系统不仅会节约人力和管理成本,还会安全保存庞大的数据量,对于信息的维护和检索也不需要花费很多时间,非常的便利。 网上系统是在MySQL中建立数据表保存信息,运用SpringBoot框架和Java语言编写。并按照软件设计开发流程进行设计实现。系统具备友好性且功能完善。 网上系统在让售信息规范化的同时,也能及时通过数据输入的有效性规则检测出错误数据,让数据的录入达到准确性的目的,进而提升数据的可靠性,让系统数据的错误率降至最低。 关键词:vue;MySQL;SpringBoot框架 【引流】 Java、Python、Node.js、Spring Boot、Django、Express、MySQL、PostgreSQL、MongoDB、React、Angular、Vue、Bootstrap、Material-UI、Redis、Docker、Kubernetes
Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
5G通信行业、网络优化、通信工程建设资料
《基于小程序的交友系统的设计与实现》是一个融合了小程序技术和社交功能的毕业设计项目。该项目旨在通过开发一款小程序,为用户提供一个便捷、有趣的交友平台,满足用户寻找新朋友、拓展社交圈的需求。 一、项目背景与目标 随着移动互联网的普及,小程序以其轻便、易用的特性受到了广大用户的喜爱。本项目旨在利用小程序技术开发一款交友系统,通过简洁明了的界面设计和丰富多样的社交功能,吸引用户参与并提升用户体验。通过实现这一系统,旨在帮助用户拓展社交圈,增进人际关系,并推动社交领域的创新与发展。 二、系统设计与功能实现 用户注册与登录:系统提供用户注册与登录功能,确保用户信息的真实性和安全性。用户可以通过手机号或第三方社交账号进行注册和登录。 个人资料展示:用户可以在个人资料页面展示自己的基本信息、兴趣爱好、照片等,以便其他用户了解并产生互动。 附近的人:系统通过定位功能展示附近的其他用户,用户可以浏览附近的人的信息,并主动发起聊天或交友请求。 聊天功能:系统提供一对一的聊天功能,用户可以与感兴趣的人进行实时交流,增进彼此的了解。 活动组织:用户可以发起或参与各类线下活动,如聚会、运动、旅行
5G通信行业、网络优化、通信工程建设资料
shampoo-sales.csv
59-《煤矿测量规程(1989版)》150.pdf
Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
5G通信行业、网络优化、通信工程建设资料。
AXIS T864 系列多通道 AXIS T8646 PoE+ 同轴电缆刀片套件 AXIS T8648 PoE+ 同轴电缆刀片紧凑型套件安装指南
MATLAB学习个人笔记总结.7z
【资源说明】【毕业设计】 1、该资源内项目代码都是经过测试运行成功,功能正常的情况下才上传的,请放心下载使用。 2、适用人群:主要针对计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、数学、电子信息等)的同学或企业员工下载使用,具有较高的学习借鉴价值。 3、不仅适合小白学习实战练习,也可作为大作业、课程设计、毕设项目、初期项目立项演示等,欢迎下载,互相学习,共同进步!
5G通信、网络优化与通信建设