1、ELK介绍

ELK不是一款软件，而是elasticsearch+Logstash+kibana三款开源软件组合而成的日志收集处理套件，堪称神器。其中Logstash负责日志收集，elasticsearch负责日志的搜索、统计，而kibana则是ES的展示神器，前端炫丽，点几下鼠标简单配置，就可以完成搜索、聚合功能，生成华丽的报表。

目前我们的日志方案：

  • flume负责收集，服务写日志到文件，flume收集日志文件

  • flume汇总到数据通道kafka，供其他服务消费

  • 日志搜索：从kafka读取日志写入到solr cloud提供搜索

  • 日志统计：将kafka的日志写到hdfs，使用spark、hive来做统计

  • 日志展示：开发的java-web，读取数据库生成统计报表

当前日志方案问题分析：