标签归档:日志分析

2016
08-13

flume-ng日志收集之安装配置

flume-ng日志收集之flume和hadoop的安装配置 [crayon-59c2e48070e43428648430/] 在上一篇logstash使用zookeeper建立kafka集群对日志收集中有写zookeeper和kafka的安装配置,这里略过。通常的做法是flume采集日志,通过kafka这个消息队列传输给hadoop存储到硬盘落地。 环境说明 [crayon-59c2....Read More >
2016
03-28

kvm&Xen主机在线调整cpu核心数和内存大小

因为线上经常会遇到资源分配不均衡,我认为使用虚拟化主机主要原因:一是资源隔离,每台机负载一块任务,多台虚拟主机在资源有限情况下可以做到高可用; 二是尽可能的利用服务器的硬件资源,避免某些物理服务器异常繁忙或没有负载。 我一般的把服务器刚开始设置较低的配置,根据服务的运行负载情况调整cpu & mem kvm的安装配置应用  &  xen主机的安装配置应用  & kvm....Read More >
2016
02-25

ELK日志服务使用-rsyslog传输日志 HOT

ELK日志服务使用-rsyslog传输日志 在前两篇文章中,对elk的安装,运行,配置做了介绍。ELK中elasticsearch如果用单机,就不用配置什么,如果是集群,则需要3台或5台设置一下,因为说明文档解释的相当详细,这里不做多说明。kibana也没有多少需要设置的。下面我们主要说一下logstash的配置。 我们多数情况是多台web....Read More >
2016
02-23

ELK日志服务使用-基本安装 HOT

ELK日志服务使用-基本安装 说在前面的话: elk对于没有接触的来说,并没有一般的服务那么容易安装和使用,不过也没有那么难,elk一般作为日志分析套装工具使用。logs由logstash输入,logstash通过配置文件对日志做过滤、匹配,就是用来分析日志的,输出到elasticsearch,所以他的配置需要和日志相匹配。e....Read More >