ELK日志分析系统

ELK日志分析系统

elk是一套完整的日志集中处理方案，由三个开源软件简称组成

E：ElasticSearch ES是一个开源的，分布式的存储检索引擎（索引型的非关系数据库）。存储日志 ?由Java代码开发的，基于Lucene结构开发的一套 全文检索引擎。拥有web接口，用户可以通过浏览器的形式和ES组件进行通信

作用：存储，允许全文搜索，结构化搜索（索引点），索引点可以支持大容量的日志数据。也可以搜索其他不同类型的文档

L:Logstash，数据收集引擎，支持动态的（实时）从各种服务应用收集日志资源，还可以收集到日志数据进行过滤，分析，丰富，统一格式等等操作，然后把数据同步到ES存储引擎

RUBY语言编写的，运行在Java虚拟机上的一个强大的数据处理工具，数据传输，格式化处理，格式化输出，主要用来处理日志

K:Kiabana，图形化界面，可以更好的分析存储在ES上的日志数据。提供了一个图形化的界面来浏览ES上的日志数据。汇总、分析、搜索。

数据收集工具：

fliebeat：轻量级的开源的，日志收集数据，收集的速度比较快，但是没有数据分析和过滤的能力，一般是结合logstash一块使用

kafka

RabbitMQ 中间件消息队列

总结：ELK的作用，当我们管理一个大集群时，需要分析和定位的日志就会很多，每一台服务器分别去饭呢西，将会耗时耗力，所以我们应运而生了一个集群的统一的日志管理和分析系统，极大的提高了定位问题的效率。

日志系统的特征：

1、收集，可以收集基本上市面上常用的软件日志

2、传输，收集的日志需要发送到ES上

3、存储，es负责存储数据

4、UI：图形化界面（kiabana）

es的性能调优：

内核优化：

ES是基于lucene架构，实现的一款索引型数据库。lucene可以利用操作系统的内存来缓存ES的索引数据

提供更快的查询速度。在工作中我们会把系统的一半内存留给lucene

机器内存小于64G，50%给es，50%给操作系统，供lucene使用

机器内存大于64G，ES分配4-32G即可，其他的都给操作系统

logstash的命令常用选项：

-f 指定配置文件，根据配置文件识别输入和输出流

-e 测试，从命令行当中获取输入，然后经过logstash加工之后，形成一个标准输出

-t 检测配置文件是否正确，然后退出

logstash -f nginx.conf --path.data /opt/test1

ELK实验：

es1：192.168.233.20（2核4G）

es2：192.168.233.30（2核4G）

logstash kibana：192.168.233.10（4核8G）

三台组件最少要2核4G

三台机器先关防火墙和安全机制

然后查看version

es1和es2一块操作

修改两台机子配置文件

然后vim elasticsearch.yml，这个时候要将同步关闭

取消注释name名字可以随意

前面叫node1 第二台就得叫node2

在node1和2下面插入几行

1和2都在下面30行左右找到path.data

path.data: /var/lib/elasticsearch

实验环境下不用打开1和2在43行左右找到bootstrap取消注释

1和2在55行左右找到network.host取消注释，改成0.0.0.0

1和2在60行左右http.port:9200取消注释，并且在下面添加一行

1和2在71行左右找到discovery.zen取消注释，然后在双引号里面添加es1和2的ip地址

保存退出

检查配置文件是否正确

es1和es2修改最大文件数的配置文件

在最后一行添加

做完之后需要重启

打开配置文件，如果在工作中遇到这个配置需要重启生效。

找到这三行

第一行的意思是：一个用户会话的默认最大文件描述符的陷质量

文件描述符：用于表示打开文件或者I/O资源限制的整数

第二行的意思是：一个用户可以打开的最大进程数量的限制32000。一个用户的终端可以运行多少个进程

第三行的意思是：一个用户的终端默认锁定内存的限制，infinity就是不限制

改内核配置文件

在最后一行插入

重启reboot

内存映射：将文件或者其他设备映射进程地址空间的方法，允许进程直接读取或者写入文件，无需常规的I/O方式

映射空间越大，ES和lucene的速度越快

2g/262144

4g/4194304

8g/8388608

开启es1和2的服务

然后查看端口起没起来

然后用浏览器测试一下

查询地址的健康状态，green就是健康状态没问题，yellow就是有问题

es1和2同步操作

es1和2同步安装数据包gcc

es1和2同步解压

tar zxvf node-v8.2.1.tar.gz

es1和2同步cd 到node-v8.2.1

es1和2同步开始配置

es1和2同步make -j 2 && make install

es1和2同步操作，cd到/opt

es1和2同步要先解压这个文件

然后cd进去

es1和2同步把这个文件拖进来

解压

cd进去

es1和2同步 如果担心速度慢，可以先npm config set registry http://registry.npm.taobao.org/ ?

然后在npm install

改配置文件

在最后一行插入几行添加

第一行的意思是开启跨域访问的支持

第二行是开启跨域访问之后，允许访问的域名地址 *：所有

重启服务

查看端口是否起来

cd 到opt目录下的这个文件

9100是可视化工具的访问端口，9200还是ES数据库的访问端口

插入索引进行测试

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

在test1进行操作：

更改主机名

hostnamectl set-hostname apache

安装nginx服务（nginx）

yum -y install nginx

systemctl start nginx

安装java

cd /opt

拖两个软件

安装logstash

重启服务和

设置开机自启

systemctl start logstash.service

systemctl enable logstash.service

创建软连接

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

测试

logstash -e 'input { stdin{} } output { stdout{} }'

使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch?

{ hosts=>["192.168.233.30:9200","192.168.233.100:9200"] } }'

意思是：所有的键盘命令行输出，转化成标准输出（rubydebug的模式），6.0之后，logstash的默认输出格式就是rubydebug格式的标准输出

如果出现这个报错 可以在后面添加

区分不同的数据存放目录

6.0之后的logstash自带的输出格式/rubydebug，自动的把输出格式，定义为统一的标准格式输出

cd /opt

把这个软件拖进去

安装kibana

修改配置文件

在第7行改成0.0.0.0

在第28行取消注释，然后添加ip地址

在37行 取消注释

在96行改一下日志路径

在113行取消注释，改成zh-CN

创建日志文件

把日志文件的所有者和所在组改掉

重启服务和开机自启

查看端口号

在浏览器上进行访问，点击否

创建一个日志路径目录

mkdir log

写配置文件

修改配置文件

然后重启服务

cd到/var/log文件下

给权限

查看nginx服务是否开启

写一个配置文件

给nginx文件赋权

执行这个配置文件

创建索引：

刷新一下

再刷新一下