本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容:
基础环境安装
zookeeper集群的搭建
kafka集群的搭建
hadoop/hbase集群的搭建
spark集群的搭建
flink集群的搭建
elasticsearch集群的搭建
alluxio集群的搭建
1.kafak简介
Kafka是一个分布式、分区的、多副本的、多订阅者的消息队列,以高吞吐量著称,主要用于实时数据的传输和处理,总体架构如下
更多内容请阅读官网 http://kafka.apache.org/documentation.html#introduction
2.kafka安装
下载
地址:http://kafka.apache.org/downloads,选择kafka_2.11-0.10.2.1.tgz版本
解压安装
本文环境列表
直接在服务器10.20.112.59上解压