首页 > 日志服务 > ELK日志服务使用-kafka传输日志
2016
02-26

ELK日志服务使用-kafka传输日志

对于日志传输,使用rsyslog传输或者logstash的indexer、shipper也就够用了,一般的redis,kafka,主要是作为缓冲或序列防止logstash挂掉后,日志中断,下面写kafka的使用。

ELK日志服务使用-kafka传输日志 - 第1张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

ELK日志服务使用-rsyslog传输日志文章写了日志传输的几种方式,主要是根据自己的需求调整,如下列几种:

如果是用logstash的shipper和indexer,中间用kafka做传输的存储,请点击 logstash使用zookeeper建立kafka集群对日志收集

下面文章是用kafka作为通道发送日志,不建议使用此方式

在用kafka之前,需要rsyslog模块支持,所以需要对rsyslog升级,并且启用omkafka,我们简单的话用yum安装,如果想享受编译过程,请参考下面(编译安装rsyslog特别麻烦)

下面对rsyslog升级同时加入omhiredis:
下载https://github.com/rsyslog/rsyslog/archive/master.zip

rsyslog编译安装过程中会遇到种种问题,如下:

下面为rsyslog安装升级步骤:

上述编译的过程中,因为rsyslog版本变更,所以出现了一些问题,下面为解决方法

最终rsyslog编译过程为

#kafka的rsyslog模块        http://bbotte.com/
ls /usr/lib64/rsyslog/omkafka.so
# ls /usr/lib64/rsyslog
ELK日志服务使用-kafka传输日志 - 第2张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

ELK日志服务使用-kafka传输日志 - 第3张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

发送日志服务器

kafka的设置

接收日志服务器

发送方写入一条日志:

从两个方面验证日志的传输

 

参考文档:
http://blog.sematext.com/tag/rsyslog/
http://www.rsyslog.com/doc/v8-stable/installation/install_from_source.html

by http://bbotte.com/

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

ELK日志服务使用-kafka传输日志》有 2 条评论

  1. 哈密 说:

    站主qq多少或者群号请教个问题

留下一个回复

你的email不会被公开。