1、ELK介绍
ELK不是一款软件，而是elasticsearch+Logstash+kibana三款开源软件组合而成的日志收集处理套件，堪称神器。其中Logstash负责日志收集，elasticsearch负责日志的搜索、统计，而kibana则是ES的展示神器，前端炫丽，点几下鼠标简单配置，就可以完成搜索、聚合功能，生成华丽的报表。
目前我们的日志方案：
flume负责收集，服务写日志到文件，flume收集日志文件
flume汇总到数据通道kafka，供其他服务消费
日志搜索：从kafka读取日志写入到solr cloud提供搜索
日志统计：将kafka的日志写到hdfs，使用spark、hive来做统计
日志展示：开发的java-web，读取数据库生成统计报表
