首页 > 日志服务 > ELK日志服务使用-filebeat多文件发送
2016
03-09

ELK日志服务使用-filebeat多文件发送

公司应用ELK的实际情况各个不同,如果需要分析的日志文件较多,并且又不能混合在一块,每个日志都有自己的type和tag,官方提供了filebeat,正好可以解决这个问题。
下面参考elastic.co的帮助文档,原页面
https://www.elastic.co/guide/en/logstash/2.2/advanced-pipeline.html#multiple-input-output-plugins
说明页面 https://www.elastic.co/guide/en/logstash/2.2/deploying-and-scaling.html#deploying-filebeat
https://www.elastic.co/guide/en/beats/filebeat/current/index.html

ELK日志服务使用-filebeat多文件发送 - 第1张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

上图来自官网

filebeat安装

新建一个filebeat.yml配置

上面步骤是试用一下filebeat,按官方文档,下面从两台主机说明一下:
发送端(生成日志文件):
1,安装filebeat-1.1.2-x86_64.rpm
2,编辑filebeat配置

接收端(ELK):
1,编辑logstash的配置文件

查看接收到的日志:

ELK日志服务使用-filebeat多文件发送 - 第2张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

最后,对elasticsearch加载索引模板

在使用filebeat之前,你应该加载这个索引模板,为了让elasticsearch明白哪个字段需要被分析。

其实上面的步骤都是官方文档里面写的,这里只是写一下而已,filebeat的确挺方便的,不用再通过rsyslog那么繁琐去实现日志的发送接收。      by:http://bbotte.com/

下面我们测试多日志文件的发送

发送日志端:

新建了2个文件夹,给每个日志添加标签,输出到ELK server端

接收日志端:

启动elasticsearch,kibana。logstash中用tag判断日志的来源,并且索引index更改一下

# ./bin/logstash -v -f filebeat.conf

这时候在发送日志端,生成一条日志,观察各个终端post的log

kibana 中 Configure an index pattern 索引写定义的 first-*  、second-*

ELK日志服务使用-filebeat多文件发送 - 第3张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

就酱紫,完美的解决了多个日志的input和output。也建议大家使用此方式。

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

ELK日志服务使用-filebeat多文件发送》有 1 条评论

  1. sxusky 说:

    index => “first-%{+YYYY.mm.dd}”
    应该是
    index => “first-%{+YYYY.MM.dd}”

留下一个回复

你的email不会被公开。