博客首页 → 调度

最新文章列表

基于大数据开发套件定时调度带资源文件的MapReduce作业

MaxCompute里的MR作业，很少是只要跑一次就好了的。如果需要周期性调度，目前MaxCompute（原名ODPS）只提供了计算引擎，任务调度可以使用大数据开发套件来实现。这篇帖子从基础开始，介绍了3种周期性调度的方法。同时还介绍了如何使用资源文件。 代码开发 代码以文档里的WordCount 作为例子。在这个基础上，增加资源文件的读取方法，修改Reduce类。主要的逻辑是读取资源文件，资 ...
大数据odps调度 
iyulang 评论(0) 有9人浏览 2017-04-19 10:38

ScheduledExecutorService的scheduleAtFixedRate和scheduleWithFixedDelay方法的区别

ScheduledExecutorService是java.util.concurrent并发包下的一个接口，表示调度服务~，它定义了以下几个方法：   public ScheduledFuture<?> schedule(Runnable command, long delay, TimeUnit unit); public <V> ...
ScheduledExecutorService调度scheduleAtFixedRatescheduleWithFixedDelay区别 
Everyday都不同 评论(0) 有3182人浏览 2016-11-18 19:20

35.Spark系统运行内幕机制循环流程

一：TaskScheduler原理解密 1，  DAGScheduler在提交TaskSet给底层调度器的时候是面向接口TaskScheduler的，这符合面向对象中依赖抽象而不依赖的原则，带来底层资源调度器的可插拔性，导致Spark可以运行的众多的资源调度器模式上，例如Standalone、Yarn、Mesos、Local、EC2、其它自定义的资源调度器；在Standalone的模式下我们聚焦 ...
sparkTaskScheduler调度任务资源 
zhou_yuefei 评论(0) 有1100人浏览 2016-05-03 10:26

（转）hadoop2中的调度器

YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器，探讨三种调度器的设计侧重，最后给出一些配置建议和参数解释。 本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如，CPU资源分配等特性在不就的将来就会加入。 为了方便查阅源代码，原代码位置使用
hadoop调度 
zhangxiong0301 评论(0) 有1051人浏览 2015-04-04 11:33

Quartz 简单实例

Quartz调度简单案例： 前期准备 导入Quartz到项目中，本人是 用的Maven，代码如下 <dependency> <groupId>org.quartz-scheduler</groupId> <arti ...
Quartzdemo实例链接DB调度 
TimerBin 评论(0) 有1701人浏览 2015-01-14 18:27

#研发中间件介绍#定时任务调度与管理JobCenter

郑昀 最后更新于2014/11/11 关键词：定时任务、调度、监控报警、Job、crontab、Java 本文档适用人员：研发员工   没有JobCenter时我们要面对的：   电商业务链条很长，业务逻辑也较为复杂，需要成百上千种定时任务。窝窝的大多数定时任务其实调用的是本地或远端 Java/PHP/Python Web Service。如果没有一个统一的调度 ...
crontabjavajob调度 
zhengyun_ustc 评论(1) 有2903人浏览 2014-12-27 19:59

大数据分析处理平台的调度应该具备什么能力？

本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用，达到一个什么样的能力。 谈调度之前，先说说大数据分析处理平台的定义：集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统，它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一般来说，大数据分析处理平台有以下几个显著特点： 规模大，集群化。百度，腾讯，阿里的 ...
调度大数据资源管理YARNMesos 
jiezhu2007 评论(0) 有1704人浏览 2014-05-11 11:29

Luigi －－基于Python语言的流式任务调度框架教程

Luigi:   author: vincentzhwg@gmail.com date: 2014.5.6   blog已迁移，最新的Luigi教程更新在：http://guan58.com/archives/38   ### web         https://github.com/spotify/luigi ...
luigipython教程介绍调度 
vincentzhwg 评论(0) 有13264人浏览 2014-05-07 18:12

spring3集成quartz2

最近项目中要用到quartz 做job，在网上看了些资料，自己做了个小例子 加入quartz包和spring相关包， spring包这里就没叙说了 job类 import org.quartz.Job; import org.quartz.JobExecutionContext; import org.quartz.JobExecutionException; import org. ...
springquartzxmljob调度 
hehaisu 评论(0) 有937人浏览 2014-04-19 14:34

黑马学习日记_破解面试题之银行调度系统

---------------------- android开发、Java培训、期待与您交流！ ----------------------   需求分析： 银行内有6个业务窗口，1-4好窗口为普通窗口，5号为快速窗口，6号位VIP窗口。 有三种对于类型的客户：VIP客户，普通客户，快速客户（如：交电费，水费，电话费等方面的客户）。 异步随机生成各种类型的客户，生成各类型用户的 ...
java调度 
小驴变黑马 评论(0) 有423人浏览 2014-04-06 09:25

cron表达式详解

1. cron表达式格式： {秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)} 2. cron表达式各占位符解释： {秒数} ==> 允许值范围: 0~59 ,不允许为空 ...
cron任务调度 
AILIKES 评论(0) 有543人浏览 2014-01-14 14:07

Quartz cron 表达式用法

Quartz中时间表达式的设置-----cron表达式   时间格式: <!-- s m h d m w(?) y(?) -->,   分别对应: 秒>分>小时>日>月>周>年,  举例: 1.每天什么时候执行:        <value>0 59 23 * * ?</value> 每天23:59:00开始执行 ...
Quartzcronjob调度 
hejiajunsh 评论(0) 有1489人浏览 2014-01-06 15:37

hadoop 调度

hadoop 调度 https://github.com/Netflix/genie corona https://github.com/facebook/hadoop-20/tree/master/src/contrib/corona
hadoop调度genie 
dengbenji 评论(0) 有573人浏览 2013-11-27 09:51

spring3.0定时调度配置

说明：下面程序在每天凌晨一点统计数据，执行定时调度，完成定时器功能，spring可以完成。   spring配置文件：applicationContext.xml   <context:annotation-config /> <context:property-placeholder location="classpath:timer.propertie ...
springtimer调度cron 
hejiajunsh 评论(0) 有1061人浏览 2013-09-06 13:53

几年前写的一个任务调度模块

    大概是在09年下半年，参与了一个项目，当时项目有一些需要定期执行的任务，并且考虑到后续会有更多的任务需要调度，所以项目负责人决定做 ...
quartz调度任务javaspring batch
zhanjia 评论(4) 有2957人浏览 2013-05-16 00:30

shell执行oracle存储过程，获得存储过程返回值【转】

一个小的etl调度，需要将存储过程执行情况进行返回并控制其后续依赖是否执行，本人只是将调用执行存储过程的shell脚本中存储过程输出参数返回，并没有写具体的控制程给大家，如果在这个思路上继续进行开发，那就是一个小的etl调度程序。   下面将各个脚本进行说明：（ex_produre.sh） 1.执行存储过程脚本 #!/bin/bashuser_name=$1user_pass=$2prod ...
shell调度存储过程oracleetl 
骑毛驴的关羽 评论(0) 有4831人浏览 2013-05-08 14:53

Spring调度配置

当你新建web项目，配置好SSH环境后如要使用调度，先需要导入quartz-all-1.6.1.jar.这里的Demo是发短信： 首先，配置好applicationContext.xml： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sprin ...
springquartzjavassh调度 
as11051105 评论(0) 有1295人浏览 2013-04-19 15:49

spring cron表达式

Cron表达式是一个字符串，字符串以5或6个空格隔开，分开工6或7个域，每一个域代表一个含义,Cron有如下两种语法 格式： Seconds Minutes Hours DayofMonth Month DayofWeek Year 或 Seconds Minutes Hours DayofMonth Month DayofWeek 每一个域可出现的字符如下： 代码 Seconds:可出现 ...
springcron调度时间上传 
as11051105 评论(0) 有1226人浏览 2013-02-24 11:17

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics