logstash+es+kibana+redis搭建
环境信息：
CentOS 6.5
redis 3.0.4
logstash
elasticsearch
kibana
服务端ip:192.168.0.65
客户端ip:192.168.0.66
关系结构图：
图片引用自： http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html
安装redis
首先下载redis
wget http://download.redis.io/releases/redis-3.0.4.tar.gz
下载之后解压，编译安装
tar -zvxf redis-3.0.4.tar.gz
make
make install
然后启动redis
redis-server redis.conf &
添加&符号表示后台启动
安装logstash
服务器端
首先安装java环境这里使用比较简单的方法
yum install jdk –y
如果你手动安装的话建议安装java1.8
下载logstash
wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
下载之后解压
tar –zxvf logstash-1.5.4.tar.gz
然后到logstash目录下，创建config目录并创建一个logstash_server.conf文件，创建logs目录存放日志并创建logstash.log文件
编辑文件
vim logstash_server.conf
将一下内容写入到logstash_server.conf中
input {
redis {
host => "127.0.0.1" #本地的reds地址
port => 6379 #redis端口
type => "redis-input" #输入类型
data_type => "list" #使用redis的list存储数据
key => "key_count"
}
}
output {
stdout {}
elasticsearch {
host => "127.0.0.1" #elasticsearch地址
cluster => "elasticsearch"
codec => "json"
protocol => "http" #elasticsearch使用的协议
}
}
配置完成后启动logstash
bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &
数据采集端
数据采集端的安装步骤与服务器端的安装步骤相同
只是在配置文件有所不同
在数据采集端创建logstash_client.conf
数据采集端的conf文件配置为：
input { file { type => "type_count" #日志所在的目录 path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"] exclude => ["*.gz", "access.log"] #排除一些不想加入的日志 } } output { stdout {} redis { host => "192.168.0.65" port => 6379 data_type => "list" #数据类型也要保持一致 key => "key_count" #key 要与服务器端的相同 } }配置完成后启动logstash
bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &
安装elasticsearch
下载elasticsearch
wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz
解压： tar –zvxf elasticsearch-1.7.2.tar.gz
elasticsearch 不需要特别的配置，只需要启动即可
切到elasticsearch的目录下进行启动：bin/elasticsearch –d
-d命令表示后台启动elasticsearch
安装kibana
下载kibana
wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
解压：tar –zxvf kibana-4.1.2-linux-x64.tar.gz
kibana需要配置一下elasearch所在的服务器地址
切到kibana的目录下
vim config/kibana.yml
找到 elasticsearch_url: " http://localhost:9200" 这一行修改为 elasticsearch_url: http://127.0.0.1:9200
kibana的启动需要需要一个.kibana的隐藏文件，可以在启动kibana之后执行下面的命令：
curl -XPUT localhost:9200/.kibana
测试安装是否成功
我们启动redis监控输入的信息
redis-cli –p 6379 mointor
然后我们到客户端的日志文件中写入一些测试信息：
echo 'this is a test message!' >> /data/logs/count/stderr.log
会看到服务器端接收到信息：
到此，基本的搭建就已经完成了
最后推荐几个kibana使用的地址：