kafka


Apache Kafka 是一个开源分布式事件流平台,由Scala和Java编写。

elk建议使用Kafka 版本 0.8.2.0 及更高版本

[下载地址](Apache Kafka)

主配置文件

cat server.properties

`broker.id=0` 集群中每个节点必须唯一
`listeners = PLAINTEXT://127.0.0.1:9092` 监听地址

`log.dirs=/tmp/kafka-logs` 是kafka的数据文件

`zookeeper.connect=zoo1:2181,zoo2:2181,zoo3:2181` 连接zookeeper

启动服务

kafka-server-start.sh -daemon server.properties

1.测试创建主题

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

2.查看主题详情

bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

3.向主题中产生一个事件

$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event

4.查询主题事件

$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event

kafka可视化工具免费Offset Explorer (kafkatool.com)

elk