可根据业务按需扩容,Broker、Topic、分区横向伸缩,业务方无感知
Kafka是一个分布式、高吞吐量、高可扩展性的消息中间件;基于发布/订阅模式,通过消息解耦,使生产者与消费者之间异步交互,无需彼此等待。Kafka广泛应用于日志收集、监控数据聚合、流数据处理、在线和离线分析等,在高并发和大数据领域是不可或缺的产品之一。
资源独享
集群节点独占、数据独享,数据更私密
发布和订阅解耦
基于发布订阅模式,应用解耦,提高横向扩展能力
高吞吐量
提供强大的消息积压能力,缓冲突增流量,避免业务崩溃
业务中属于非核心或不重要的流程部分,使用消息异步通知的方式发给目标系统,主业务流程无需同步等待其他系统的处理结果,从而达到系统快速响应的目的。
在大型网站或系统中,上下游的处理能力存在较大压力,在高并发或大流量突增时,容易造成系统崩溃。Kafka提供亿级消息堆积能力,在下游系统能力恢复时再进行处理,避免因流量突增造成系统崩溃,削弱峰值流量对整个系统的影响。
在大型业务系统设计中,为了快速定位问题、全链路追踪日志,以及故障及时预警监控,通常需要将各系统应用的日志集中分析处理。
在实时性较强数据量大的业务中,消息队列Kafka可配合Spark、Flink等流处理引擎,更好的解决了实时数据处理过程中遇到的问题,流计算模型能实现在数据流动的过程中对数据进行实时地捕捉和处理,并根据业务需求进行计算分析。
可根据业务按需扩容,Broker、Topic、分区横向伸缩,业务方无感知
多副本数据冗余,充分保证数据的可靠性
配套完整的监控系统,能及时发现集群问题并准确定位
在海量堆积的情况下,Kafka集群仍能保持收、发消息的高吞吐能力