首页 > 日志服务 > logstash使用zookeeper建立kafka集群对日志收集(kafka的详细配置)
2016
07-21

logstash使用zookeeper建立kafka集群对日志收集(kafka的详细配置)

logstash使用zookeeper建立kafka集群对日志收集,总共分为三个步骤,下面为主机的信息:

1,建立zookeeper集群
2,kafka使用zookeeper集群
3,logstash用kafka进行日志传输

10.211.55.4  vm01  zookeeper1  kafka0  logstash_send
10.211.55.5  vm02  zookeeper2  kafka1
10.211.55.6  vm03  zookeeper3  kafka2  logstash_receive

一,建立zookeeper集群,myid需要自定义

logstash使用zookeeper建立kafka集群对日志收集(kafka的详细配置) - 第1张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

二,kafka使用zookeeper集群,建立自己的集群,broker.id需整数且唯一

logstash使用zookeeper建立kafka集群对日志收集(kafka的详细配置) - 第2张  | linux工匠|关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优|系统架构

kafka的其他常用命令

三,配置logstash,logstash1.5和2.3的版本差别较大,output模块中需要注意   http://bbotte.com/

日志收集方式较多,各种姿势其实大同小异,根据自己需求来走,做一套适合公司的日志系统。

参考:
Apache Kafka System+Tools

最后编辑:
作者:bbotte
这个作者貌似有点懒,什么都没有留下。

logstash使用zookeeper建立kafka集群对日志收集(kafka的详细配置)》有 2 条评论

  1. Pingback 引用通告: flume-ng日志收集之安装配置 | linux工匠 关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优

  2. Pingback 引用通告: ELK日志服务使用-kafka传输日志 | linux工匠 关注运维自动化|Python开发|linux高可用集群|数据库维护|性能提优

留下一个回复

你的email不会被公开。