新年快乐

要学习找海牛

云平台棒棒哒

flume实战day02镜像地址：http://cloud.hainiubl.com/#/privateImageDetail?id=2605&imageType=private

查看hdfs上某一个目录下的文件:hadopo fs -ls /data/hdfssink
查看hdfs文件的内容：hadoop fs -cat /data/hdfssink/hainiu-.1665836316961.log

启动agent的命令，注意，需要替换-f后面的agent脚本：flume-ng agent -n a1 -c /opt/apache-flume-1.10.1-bin/conf/ -f ./filerole.agent -Dflume.root.logger=INFO,console

2022-10-14日fluem操作镜像：http://cloud.hainiubl.com/#/privateImageDetail?id=2591&imageType=private

课程回顾：
source：
1，netcat：用来监听一个tcp发送到指定ip指定端口的数据
2，spooling directory ：监听某一个目录，目录下有文件产生就会被source监听并且收集到
3，exec： 监听一个命令执行完的结果，结果会作为数据源收集到
4，taildir：监听某一个目录下指定格式的数据 比如xxx.log,并且支持断点续传
channel：
1，memory：将source收集过来的数据暂存到内存中，优点就是快，但是缺点就是不安全
2，file：将source收集过来的数据暂存到磁盘中，优点就是数据安全，缺点就是速度会略微慢一点。
sink--今天

定义agent

a1.sources=r1
a1.sinks=k1
a1.channels=c1

定义source

a1.sources.r1.type=netcat
a1.sources.r1.bind=11.99.16.111
a1.sources.r1.port=44444

定义channel

a1.channels.c1.type=file
a1.channels.c1.dataDirs=/root/filechannel

定义sink

a1.sinks.k1.type=logger

绑定sink和channel，source和channel

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

flume-ng agent -n a1 -c /opt/apache-flume-1.10.1-bin/conf/ -f ./spooldir.agent -Dflume.root.logger=INFO,console

http://cloud.hainiubl.com/#/privateImageDetail?id=2577&imageType=private

动起来