单机安装Kafka

  1. 下载Kafka压缩包 下载地址

    本文下载的版本是 kafka_2.13-3.2.1.tgz。

  2. 下载好进行解压，即安装完毕

  3. 启动 Kafka

    • 先启动 zookeeper（-daemon：以后台方式启动）
    1
    bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
    • 然后启动 Kafka
    1
    bin/kafka-server-start.sh -daemon config/server.properties

    在logs目录下查看server.log，如果提示started，则表示启动成功，不然就根据错误的原因重新修改。

基础操作

  • 创建topic
1
bin/kafka-topics.sh --create --topic test1 --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
  • 查看topic
1
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
  • 生产消息
1
bin/kafka-console-producer.sh --topic test1 --bootstrap-server localhost:9092
  • 消费消息
1
bin/kafka-console-consumer.sh --topic test1 --from-beginning --bootstrap-server localhost:9092
  • 删除topic
1
bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic test1

基础架构与名词解释

  • Producer：Producer即生产者，消息的产生者，是消息的入口。
  • Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
  • Topic：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。
  • Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！
  • Replication：每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
  • Message：每一条发送的消息主体。
  • Consumer：消费者，即消息的消费方，是消息的出口。
  • Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！
  • Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。