首页 > 服务配置 > flume-ng日志收集之安装配置
2016
08-13

flume-ng日志收集之安装配置

flume-ng日志收集之flume和hadoop的安装配置

在上一篇logstash使用zookeeper建立kafka集群对日志收集中有写zookeeper和kafka的安装配置,这里略过。通常的做法是flume采集日志,通过kafka这个消息队列传输给hadoop存储到硬盘落地。

环境说明

flume的安装

hadoop的配置

配置文件设置好后就可以格式化设置的文件夹,上面配置文件中路径不用mkdir创建,当然线上不会把文件夹放到hadoop的安装目录,启动hadoop的服务

我们只是用hdfs存储,所以不用start-all.sh,也木有用到调度,start-yarn.sh也不用启动,只需start-dfs.sh,如果有ssh登录提示,yes继续

新建一个hadoop存储的文件夹

浏览器打开http://IP:50070/可以查看hadoop的状态等信息

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

flume-ng日志收集之安装配置》有 3 条评论

  1. Pingback 引用通告: flume-ng日志收集之实践操作 | linux工匠 关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优

  2. 阿贞 说:

    写的很不错
    友情链接呗
    你的我已添加
    我的如下
    名称 centoscn
    网站 http://www.centoscn.cn

留下一个回复

你的email不会被公开。