flume安装

flume 的安装非常简单，只需要解压即可。软件见下面链接

链接：https://pan.baidu.com/s/1E_qFceaD2GxOgMAPt7pyJg
提取码：ldd0

用 tar 解压，我这里已经解压了，我为了方便已经将名字改成了不带版本号的

 配置环境变量，当然不配置也是可以的，不配置环境变量的话，每次执行任务就要去 bin 目录下执行

将下面的内容添加到 /etc/profile 中即可

# FLUME_HOME
export FLUME_HOME=/opt/bigdata/flume
export PATH=$PATH:$FLUME_HOME/bin

加载环境变量

source /etc/profile

当然，这里是我的路径，你根据你的路径修改成你自己的即可。

 进入 flume

cd flume

 配置文件在 conf 中，我们接下来的配置文件也是在 conf 这个目录下进行

将 conf 里面的环境配置模板拷贝一份进行配置，配置项也很简单，只需要添加一个  Java 的路径即可

cp flume-env.sh.template flume-env.sh

编辑这拷贝后的文档,在里面添加的你 Java 路径，将我的路径改成你的就好了

 然后在 conf 中写一个接收日志的配置做测试

vim netcat-logger.conf

# 定义这个 agent 中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置 source 组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.241.113
a1.sources.r1.port = 44444

# 描述和配置 sink 组件: k1
a1.sinks.k1.type = logger

# 描述和配置 channel 组件,此处使用的是内存缓存方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置 source channel sink 之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

保存退出之后就可以启动这个 flum 了，现在我们就以刚刚编辑的配置来执行

flume-ng agent -c conf -f /opt/bigdata/flume/conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console

-c conf 指定 flume 自身的配置文件所在

-f conf/netcat-logger.conf 指定我们所描述的采集方案，这里输入绝对路径，不然会找不到

-n al 指定 agent 的名字

 如何做测试呢，我这个是集群，所以我在另一台主机上面向这台主机发消息

安装 telnet 客户端，用于模拟数据的发送

yum install -y telnet

安装完了之后启动这个客户端 第二个参数是目标主机名，也可以是 IP 地址

telnet hadoop113 44444

我这边发送的消息，另一边就已经获取到了

 这样我们就见 flume 安装好了，剩下的开发就看后续的业务需求了。