首页 > 日志服务 > ELK5完整部署
2017
10-13

ELK5完整部署

ELK5完整部署,日志由logstash shipper收集,并传输给kafka,再有logstash indexer从kafka获取日志,解析后发送到elasticsearch数据库,kibana图形化界面展示
结构图

版本说明

解压压缩包,创建目录等操作忽略

系统环境

由于环境特殊,需要zookeeper和kafka对外,所以下面是数据走公网的配置

zookeeper配置

内网单机zookeeper配置

公网kafka配置

内网单机kafka配置

elasticsearch配置

kibana配置

nginx配置

logstash配置

logstash分2块,收集主机日志的logstash-shipper,和汇总日志的logstash-indexer
例如,日志格式为:
a.log格式

b.log格式

配置如下:

logstash-shipper.conf

logstash-indexer.conf

服务启动及关闭

遇到的问题:

logstash的indexer.conf和shipper.conf配置同时在/etc/logstash/conf.d/ ,同时启动会有上述提示,分开执行即可

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。