Kafka -- 基本操作

Kafka 是一个开源的分布式事务流平台，被数千家公司用于高性能的数据管道、流分析、数据集成和关键任务应用。

传统消息队列的主要应用场景

缓存、消峰、解耦、异步通信。

消息队列的两种模式

Kafka的基础架构

1. 为了方便扩展和提高kafka的吞吐量，一个 topic 可以划分为多个 partition。
2. 为配合分区的概念，消费者也提出了消费者组的相关概念，组内的每个消费者均为并行消费。（为避免重复消费，一个partion内的数据，只能被一个消费者来消费）
   

kafka 的数据中心

现在的 kafka 是使用 zookeeper 保存 broker、主题、还有分区的消息的。例如 kafka 的消费者会默认每隔一分钟，就会将偏移量往 zookeeper 记录一次。以供消费者群组内的某个消费者失效时重新读取。