Window下单机ELK搭建入门并与Spring Boot项目整合

ELK是一款非常流行的日志分析系统，在微服务架构中，我们可以使用ELK来跟踪分析各个微服务的日志，从而来了解服务的运行情况。

ELK是由三个开源工具搭建而成一个系统，分别是：

ElasticSearch: ES是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash：一个完全开源的工具，可以对日志进行收集、分析、并将其存储供以后使用。
Kibana：一个开源和免费的工具，他Kibana可以为Logstash和ES提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。

环境

Window 10
jdk 1.8
ElasticSearch-6.4
logstash-6.4
kibana-6.4-windows-x86_64

ELK安装

需要先安装jdk 1.8，其实只需要java运行环境即可，具体安装与环境变量配置过程这时不记录了

ElasticSearch

Window下的安装比较简单。在官网下载对应平台的安装包即可。

官网：https://www.elastic.co/downloads/elasticsearch

下载下来后是一个zip的压缩文件，直接解压到安装目录即可。

ES的启动也非常简单，打开/bin 目录双击 elasticsearch.bat 即可。

当然我们也可以选择作为服务启动，在命令行模式下切换到ES的/bin执行 Service install 再通过/bin目录下的 elasticsearch-service-mgr.exe来管理与启动服务。这里我选的第一种，使用的时候直接打开就行了。

启动后直接访问：http://localhost:9200/ 若出现如下页面表示ES已经启动成功了。

ES启动成功

Logstash

官网下载：https://www.elastic.co/downloads/logstash

我下载的是ZIP格式的，将压缩包解压到安装目录即可。

配置

在其/config目录可以看到已有一些配置文件，我们可以按自己的要求来新建一个配置文件,在此目录新建一个logstach-test.conf内容如下：

input { 
    tcp {
        port => 5044
        type => "test"
        codec => json_lines
    } 
} 

output { 
  elasticsearch {  
    hosts  => ["localhost:9200"]   
    index => "logstash-%{type}"    
  }
  stdout { codec => rubydebug }
}

这里的配置比较简单，logstash主要是收集日志给ElasticSearch。因此 input{}中主要是配置logstash监听的端口，后面我们在项目中配置日志向这个端口传输，logstash就会收集。

output{}则配置ElasticSearch的地址，logstash将收集的日志向ES的地址进行输出，index 可以指定索引名， stdout是标准输出，会将收集到的日志进行输出，方便我们调试。

input中 codec => json_lines是一个json解析器，接收json的数据。这个要装logstash-codec-json_lines 插件。在命令行中切换到Logstash的 /bin目录下，执行以下命令：

1	logstash-plugin install logstash-codec-json_lines

####启动

命令行中切换到Logstash的 /bin目录下，执行以下命令，使用我们上面的配置文件启动Logstash

1	logstash -f ../config/logstash-test.conf

命令窗口中打印如下内容无报错并处于监听状态则启动成功：

1	[2018-09-18T16:29:03,364][INFO ][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}

Kibana

官网下载：https://www.elastic.co/downloads/kibana

这里下载的是Window版本，下载下来是一个压缩包，直接解压到指定的安装目录即可。

启动则直接在/bin目录双击kibana.bat

新建Spring Boot项目

这里使用之前写的项目作测试，项目的构建请看:微服务简单实例–电影购票这里使用用户微服务(服务提供者)。需要稍微作修改为我们整合Logstash

添加依赖

<!--添加logstas-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>4.7</version>
</dependency>

修改Controller

为了方便测试我们在findId方法中添加一条日志：

@GetMapping("/{id}")
public User findById(@PathVariable Long id){
    User findOne = this.userRepository.getOne(id);
    logger.info("找到用户 ： {}",findOne);
    return findOne;
}

新建bootstrap.yml

在application.yml同目录下新建bootstrap.yml，并将application.yml中的以下内容移动到bootstrap.yml中

1
2
3

spring:
  application:
    name: microservice-simple-provider-user-trace-elk

配置logback-spring.xml

在resources目录下新建logback-spring.xml文件添加以下内容:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <springProperty scope="context" name="springAppName" source="spring.application.name" />
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>localhost:5044</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>
    <include resource="org/springframework/boot/logging/logback/base.xml"/>
    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>