一、简介
kafka是一个分布式流处理平台。有3个关键能力：
1、订阅发布记录流：类似于消息队列 或 企业消息传递系统；
2、以容错的方式存储记录流；
3、实时记录流；
二、应用
作为消息系统、存储系统、流处理器。可以建立流数据管道，可靠性的债系统或应用之间获取数据。建立流式应用传输和响应数据。
三、kafka作为消息系统
有3个基本组件：Producer、Broker、Consumer
Producer：发布消息的客户端
Broker：一个从生产者接受并存储消息的客户端
Consumer：消费者从Broker中读取消息
大型系统中，会需要和很多子系统做交互，需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和 目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道。
这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁。
Kafka运行在一个或者多个数据中心的服务器上作为集群运行
kafka 集群存储消息记录的目录被称为topics
每一条消息记录包含三个要素：键（key）、值（value）、时间戳（Timestamp）
四、核心API
kafka有4个核心API：Producer API、Consumer API、Streams API、Connector API
Producer API：它允许应用程序向一个或多个 topics 上发送消息记录；
Consumer API：允许应用程序订阅一个或多个 topics 并处理为其生成的记录流；
Streams API：它允许应用程序作为流处理器，从一个或多个主题中消费输入流并为其生成输出流，有效的将输入流转换为输出流；
Connector API：它允许构建和运行将 Kafka 主题连接到现有应用程序或数据系统的可用生产者和消费者。例如，关系数据库的连接器可能会捕获对表的所有更改。
五、基本概念
5.1、topic
Topic 被称为主题，在 kafka 中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。topic 相当于消息的分配标签，是一个逻辑概念。主题好比是数据库的表，或者文件系统中的文件夹。
5.2、partition
partition 译为分区，topic 中的消息被分割为一个或多个的 partition，它是一个物理概念，对应到系统上的就是一个或若干个目录，一个分区就是一个 提交日志。消息以追加的形式写入分区，先后以顺序的方式读取。
注意：由于一个主题包含无数个分区，因此无法保证在整个 topic 中有序，但是单个 Partition 分区可以保证有序。消息被迫加写入每个分区的尾部。Kafka 通过分区来实现数据冗余和伸缩性。
分区可以分布在不同的服务器上，也就是说，一个主题可以跨越多个服务器，以此来提供比单个服务器更强大的性能。
5.3、segment
Segment 被译为段，将 Partition 进一步细分为若干个 segment，每个 segment 文件的大小相等。
5.4、broker
Kafka 集群包含一个或多个服务器，每个 Kafka 中服务器被称为 broker。broker 接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。
broker 是集群的组成部分，每个集群中都会有一个 broker 同时充当了 集群控制器(Leader)的角色，它是由集群中的活跃成员选举出来的。每个集群中的成员都有可能充当 Leader，Leader 负责管理工作，包括将分区分配给 broker 和监控 broker。集群中，一个分区从属于一个 Leader，但是一个分区可以分配给多个 broker（非Leader），这时候会发生分区复制。这种复制的机制为分区提供了消息冗余，如果一个 broker 失效，那么其他活跃用户会重新选举一个 Leader 接管。
5.5、producer
生产者，即消息的发布者，其会将某 topic 的消息发布到相应的 partition 中。生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心特定消息会被写到哪个分区。不过，在某些情况下，生产者会把消息直接写到指定的分区。
5.6、consumer
消费者，即消息的使用者，一个消费者可以消费多个 topic 的消息，对于某一个 topic 的消息，其只会消费同一个 partition 中的消息。
