简介

 

Kafka擅长于做什么?

它被用于两大类应用:

  1. 在应用间构建实时的数据流通道

  2. 构建传输或处理数据流的实时流式应用

几个概念:

  • Kafka以集群模式运行在1或多台服务器上

  • Kafka以topics的形式存储数据流

  • 每一个记录包含一个key、一个value和一个timestamp

Kafka有4个核心API:

  • Producer API:用于应用程序将数据流发送到一个或多个Kafka topics

  • Consumer API:用于应用程序订阅一个或多个topics并处理被发送到这些topics中的数据

  • Streams API:允许应用程序作为流处理器,处理来自一个或多个topics的数据并将处理结果发送到一个或多个topics中,有效的将输入流转化为输出流

  • Connector API:用于构建和运行将Kafka topics和现有应用或数据系统连接的可重用的produers和consumers。例如,如链接到关系数据库的连接器可能会捕获某个表所有的变更