首页 > 服务配置 > flume-ng日志收集之实践操作
2016
08-15

flume-ng日志收集之实践操作

flume-ng日志收集之实践操作,是flume-ng日志收集之安装配置的继续,

kafka创建一个topic,名字暂定log2

启动hadoop的dfs

编辑flume的配置文件并运行

flume-ng日志收集之实践操作 - 第1张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

下面配置文件为flume收集logs发送给hdfs:

flume执行上面配置,并向flume source文件写日志

我们查看日志了解flume的执行过程,可以在hdfs查看内容

如果channel用memory的话,更改#set channel1为

线上我们都是用kafka做数据传输的通道,下面为使用kafka的flume配置:

sources,channels,sinks三者灵活搭配,如果flume读取日志文件存储到hdfs

通过上面对文件夹的日志收集,flume使用kafka传输,对确定日志文件的传送,获取对应用flume有相应的认识,by bbotte.com

flume参考文章

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_flume.html

http://blog.cloudera.com/blog/2014/11/flafka-apache-flume-meets-apache-kafka-for-event-processing/

http://shiyanjun.cn/archives/915.html

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。