记录工作中的点点滴滴

MQ介绍

MQ介绍

什么是MQ

MQ(Message Queue)消息队列,是基础数据结构中“先进先出”的一种数据结构。

Alt text

为什么使用MQ

其应用场景主要包含以下三个方面

应用解耦

系统的耦合性越高,系统的容错性就越低。以电商应用为例,用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障或者因为升级等原因暂时不可用,都会造成下单操作异常,影响用户体验。
Alt text

使用消息队列解耦合。比如物流系统发生故障,需要几分钟才能修复好,在这段时间内,物流系统要处理的数据被缓存到消息队列中,用户的下单操作正常完成。当物流系统恢复后,补充处理存在消息队列中的订单消息即可,终端系统感知不到物流系统发生过几分钟故障。
Alt text

流量削峰

比如一个秒杀系统,当秒杀开始时,整个系统的流量会突然间增大,这个时候,就有可能把数据库压垮。
Alt text

有了消息队列后,可以将大量请求缓存起来,分流到很长一段时间处理,这样可以大大提高系统的稳定性和用户体验。
Alt text

  • 一般情况,为了保证系统的稳定性,如果系统负载超过阈值,就会阻止用户请求,这会影响用户体验。
  • 而如果使用消息队列将请求缓存起来,等待系统处理完毕后通知用户下单完毕,这样总比不能下单体验要好。
  • 业务系统正常时段的QPS如果是 1000,流量最高峰时是10000,为了应对流浪高峰而去配置高性能的服务器显然不划算,这时可以使用消息队列对峰值流量削峰。

    数据分发

    未使用MQ
    我们先来看这样的一个场景:
    Alt text

A系统需要频繁的更改代码,这显然不是一个好的设计,使用MQ可以解决这个问题。

使用MQ

Alt text

通过消息队列可以让数据在多个系统之间进行流通,数据的生产方不用关心谁来使用数据,只需要将数据发送到消息队列,数据使用方直接在消息队列中直接获取数据即可。

MQ的缺点

系统的可用性降低

系统引入的外部依赖越多,系统的稳定性越差,一旦MQ宕机,就会对业务造成影响。

系统的复杂性提高

MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用:

  • 如何保证消息没有被重复消费?
  • 怎么处理消息丢失情况?
  • 怎么保证消息传递的时效性?

一致性问题

A系统处理完业务,通过MQB,C,D三个系统发送消息,如果B系统、C系统处理成功,D系统处理失败:

  • 如何保证消息数据处理的一致性?

各种MQ产品的比较

常见的MQ产品包括KafkaActiveMQRabbitMQRocketMQ

特性 ActiveMQ RabbitMQ RocketMQ Kafka
开发语言 java erlang java scala
单机吞吐量 万级 万级 10万级 10万级
时效性 ms级 us级 ms级 ms级以内
可用性 高(主从架构) 高(主从架构) 非常高(分布式架构) 非常高(分布式架构)
功能特性 成熟的产品,在很多公司得到应用;有较多的文档;各种协议支持较好 基于erlang开发,所以并发能力强;性能极其好,延时性很低;管理界面较丰富 MQ功能比较完善,扩展性性佳 支持主要的MQ功能;像一些消息查询,消息回调等功能没有提供;毕竟是为大数据准备的,在大数据领域应用广