一、引言
作者的平台项目最近需要实现一个功能,用户可选择这个任务什么时候执行,执行频率是什么?
这其实就是一个定时任务,只不过需要动态的,让用户自由选择。
二、原生实现
要实现这样的功能,可以直接依赖现有的中间件,比如作者就是使用qConfig+qSchedule实现的。但是在这之前,作者是想要原生的去实现,毕竟要调研很麻烦,另外各位读者使用框架不一定支持。
那么我们看看原生的需要怎么实现。首先需要定一下方案,一般的定时任务要么通过消息(mq、netty、http等)通知,要么直接客户端起一个线程不断轮训,随时通知需要执行的任务代码
既然做原生的不依赖任何外部,那就本地起个定时线程不断跑,看哪些任务需要跑了,把他们丢进线程池
1、首先用户可选的话,就要让用户可以填一个cron表达式,或者直接在配置文件里面加好各种选项,比如:1分钟一次、30分钟一次、一小时一次等等,展示给用户的是文字,配置文件里面文字是描述,实际上的key是cron表达式。
SCHEDULE_LIST=[{"code": "0 */15 * ? * *", "name": "每15分钟运行一次"},{"code": "0 0 * ? * *", "name": "每小时运行一次"},{"code": "0 0 0 ? * *", "name": "每天运行一次"},{"code": "FALSE", "name": "不执行"}]
2、在任务表里面要有个字段,放这个cron表达式
3、启动一个定时任务
@Scheduled(fixedRate = 1000*60) public void schedule() {handle();}
4、在定时任务里面把需要执行的数据扔到线程池
这里需要注意,由于定时轮训的通知机制和处理速度,不管原生还是使用中间件,都是有可能导致一定误差的,这个误差可以做成配置,作者认为几万的数据量的话也就是前后三秒左右
所以这里还需要没有五秒以内的定时任务,正常也没有哪些任务需要那么高的频率,一般都是一分钟以上的
public void handle() {// 查询所有任务数据List tasks = queryTask();for (Task task : tasks) {doHandle(task);}}public void doHandle(Task task) {String cronExpression = task.getCron();Date now = new Date();CronExpression cron = new CronExpression(cronExpression);Date nextExecutionTime = cron.getNextValidTimeAfter(now);Date previousExecutionTime = cron.getPreviousValidTimeBefore(now);Date fiveSecondsBefore = new Date(now.getTime() - 5000);Date fiveSecondsAfter = new Date(now.getTime() + 5000);if ((nextExecutionTime.after(fiveSecondsBefore) && nextExecutionTime.before(fiveSecondsAfter))|| (previousExecutionTime.after(fiveSecondsBefore) && previousExecutionTime.before(fiveSecondsAfter))) {doExecute(task);}}
三、优化
这里也能看到上面还是有一些优化空间的,比如以下几点:
1、查询耗时
查数据库的任务再去判断是否执行,数量量不大还好,多了的话真是又占内存,要耗时间,可以做一层缓存,把任务的id和cron表达式存储在本地,然后由快速的做内存遍历,投入到线程池之后再去查明细
就是io会高一点,但是同一个时间执行的任务本身就不会很多,除非做的是集团那种规模的,定时任务几十万那种,基本没必要,因为能用中间件,各位读者自己就用了,直接看第四章好了
2、批量执行
判断这个任务的cron是否可以执行是非常快的,所以没必要一个个判断再投入线程池,完全可以20个一批投进去,根据执行情况调整批次数量
List<List> batches = Lists.partition(tasks, batchSize);for (List batch : batches) {doHandle(batch);}
四、依赖框架
作者使用的是QSchedule和QConfig的组合,主要是把定时任务给放在配置中心之后,需要qschedule去拉取,然后生成对应的定时任务。
QSchedule是集团内部使用的定时任务,和集团的配置中心紧密结合,用起来很方便,配置好之后代码加个注解就行了,JobList.t就是配置中心文件的名字
@QScheduleList("jobList.t")public void scheduleHandle(Parameter parameter) {handleSchedule(parameter.getJobName());}
不过QSchedule没开源,QConfig倒是开源了https://github.com/qunarcorp/qconfig
实现原理也不复杂,就是注解的切面拉取配置文件,再发给服务端生成定时任务,服务端每次通知客户端都会把名称、拓展信息相关的都带过来,根据名称再去数据库拉取要执行的任务。
减少了判断和多次的数据库io,而且定时任务有管理机制,可用性高。
五、总结
最小成本的快速实现需要根据自身环境,有成型的框架就直接用,没有自己写一个也不复杂。