首页 > 日志服务 > ELK日志服务使用-去掉rsyslog传输的日志头
2016
03-09

ELK日志服务使用-去掉rsyslog传输的日志头

让ELK的日志原样输出,其实在logstash的output中设置一下即可,比如使用kafka的模块

用codec,里面格式为本来的message即可,下面文章remove_field可以忽略

接着上一篇ELK日志服务使用-redis传输日志说吧,用rsyslog同步过来的日志是挺方便,可以通过redis、kafka、或者直接rsyslog→→rsyslog,只是有一点:在日志发送过来后添加了“日期 主机名 日志名”的日志头,如下栗子:

下面说简单的处理方式

1,把rsyslog版本升级

2,在rsyslog里面定义日志格式

3,在接收日志端的logstash配置文件里面移除额外的日志(这里说的日志头)

前2点在之前的文章都有写了,第3点logstash的配置,还是按ELK日志服务使用-redis传输日志这篇文章继续往下:

在配置文件中添加了匹配到的deltime,host,del

把不需要的日志都清除,得到原来的messages,

ELK日志服务使用-去掉rsyslog传输的日志头 - 第1张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

ELK日志服务使用-去掉rsyslog传输的日志头 - 第2张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

如果移除后的field在kibana里面显示有个黄色的感叹号,那么刷新index可解决。总之,配置根据自己需要改,这里只是举个例子说明。

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。