日志收集系统系列(二)之环境搭建


一、JDK的下载与安装

  • 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK

  • jdk镜像:https://repo.huaweicloud.com/java/jdk/

  • 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ):

    • JAVA_HOME: F:\jdk11 (jdk的安装路径)

    • Path: 在现有的值后面添加"; %JAVA_HOME%\bin"

  • 打开cmd运行 "java -version" 查看当前系统Java的版本:

2. 安装ZOOKEEPER

Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper,安装zookeeper有两种方式,由于Kafka 0.5.x版本以上已经自带ZooKeper,不需要自己安装ZooKeeper。所以可以使用kafka自带的zoopeeper,也可以自己单独安装。下面介绍单独安装方式:

  • 下载安装文件:http://www.apache.org/dyn/closer.cgi/zookeeper/

  • 解压文件

  • 打开zookeeper文件夹的conf目录,把zoo_sample.cfg重命名成zoo.cfg

  • 从文本编辑器里打开zoo.cfg

  • 把dataDir的值改成zoopeeper的文件夹目录下的data(zoopeeper数据存放地址)

  • 添加如下系统变量:

    ZOOKEEPER_HOME: zookeeper目录

    Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"

  • 运行Zookeeper: 打开cmd然后执行 zkserver

3. 安装KAFKA

  • 进入kafka的配置目录,编辑server.properties文件,修改log.dirs=XXX(XXX表示kafka日志路径),zookeeper.connect=XXX(默认是localhost:2181,如修改了上一步的Zookeeper的端口,需要在这里修改)

  • kafka会自动默认使用9092端口,如需变动,可以修改listeners=PLAINTEXT://:XXXX(将XXXX换成变动后的端口)

  • 打开kafka目录,进入bin/windows目录下,shift+鼠标右键选择打开命令窗口(也可以直接通过cmd cd 文件目录的方式进入)

    # 启动zoopeeper
    bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
    # 启动kafka
    bin\windows\kafka-server-start.bat .\config\server.properties