Java利用Redis实现任务队列 - 极悦
专注Java教育14年 全国咨询/投诉热线:444-1124-454
极悦LOGO图
始于2009,口口相传的Java黄埔军校
首页 hot资讯 Java利用Redis实现任务队列

Java利用Redis实现任务队列

更新时间:2020-09-15 15:59:36 来源:极悦 浏览2688次

实现任务队列之前,我们先了解一下使用任务队列有哪些好处:

1.松耦合。生产者和消费者无需知道彼此的实现细节,只需要约定好任务的描述格式。这使得生产者和消费者可以由不同的团队使用不同的编程语言编写。

2.易于扩展。消费者可以由多个,而且可以分布在不同的服务器中,借此可以轻易地降低单台服务器的负载。

要实现队列很自然就想到Redis的列表类型,以及LPUSH和RPOP命令。如果要实现任务队列,只需要让生产者将任务使用LPUSH命令加入到某个键中,另一边让消费者不断的使用RPOP命令从该键中取出任务即可。Redis的伪代码实现如下:

Redis伪代码

# 无限循环读取任务队列中的内容
loop
    $task = RPOP queue
    if $task
        # 如果任务队列中有任务,则执行它
        execute($task)    
    else
         # 如果没有任务,则等待1秒,以免过于频繁的请求数据
         wait 1 second

至此,一个使用Redis实现的简单任务队列就写好了,不过还有一点问题:当任务队列中没有任务时,消费者每秒都会调用一次RPOP命令查看是否有新任务。

优化:借助BRPOP命令,可以实现一旦有新任务加入队列就通知消费者

BRPOP命令接收两个参数,第一个是键名,第二个是超时时间,单位是秒。当超过了此时间仍然没有获得新元素的话就会返回nil。如果超时时间设为“0”,表示不限制等待的时间,如果没有新元素加入列表就会永远阻塞下去。

BRPOP和RPOP命令相似,唯一区别是:任务列表中没有元素时BRPOP命令会一直阻塞住连接,直到有新元素加入。上面的伪代码可以优化为:

Redis伪代码

loop
    # 如果任务队列中没有新任务,BRPOP命令会一直阻塞,不会执行execute()
    $task = BRPOP queue, 0
    # 返回值是一个数组,数组的第二个元素是我们需要的任务
    execute($task[1])

队列有的时候需要优先级。比如:系统需要发送确认邮件和通知邮件两种任务同时存在时,应该优先执行确认邮件。具体场景如下,订阅一个名人的博客的用户有10万人,当该博客发布一篇新文章后,博客就会向任务队列中添加10万个发送通知邮件的任务。如果每一封邮件需要10ms,那么全部完成这10万个任务就需要:100 000*10/1000=1000秒(将近20分钟)。加入这期间有新用户想订阅该博客,当提交完自己的邮箱并看到网页提示查收确认邮件时,该用户并不知道向自己发送的确认邮件的任务被加入到已经有10万个任务的队列中,需要为此等待近20分钟。

分析具体场景,发布新文章后通知订阅用户的任务并不很紧急,延迟20分钟完全可以接受。所以可以得出如下结论:当发送确认邮件和发送通知邮件两种任务同时存在时,应该优先执行前者。为了实现这一目的,我们需要实现一个优先级队列。

BRPOP命令可以同时接受多个键,其完整的命令格式为:BRPOP key[key...]timeout,如:BRPOP queue1 queue2 0.着意味着同时检测多个键,如果其中有一个键有元素,则从该键中弹出元素;如果多个键都有元素,则按照从左到右的顺序取第一个键中的第一个元素。

借此特性可以实现区分优先级的任务队列。我们分别使用queue:confirmation.email和queue.notification.email两个键存储发送确认邮件和发送通知邮件两种任务,然后将消费者的伪代码修改为:

Redis伪代码

loop
    $task = 
    BRPOP  queue:confirmationl.email,
                queue:notification.email,
                0
    execute($task[1])

这时,一旦发送确认邮件的任务被加入到queue.confirmation.email队列中,无论queue:notification.email还有多少任务,消费者都会优先完成发送确认邮件的通知任务。

Java队列:http://www.6acf.com/tutorial_javaqueue/

java任务队列

以上就是对“Java利用Redis实现任务队列”的介绍,希望对大家有所帮助,如有疑问,请在线咨询,有专业老师随时为你服务。

提交申请后,顾问老师会电话与您沟通安排学习

免费课程推荐 >>
技术文档推荐 >>