Kafka3.x详细笔记
时间:2023-10-07 06:37:01
文章目录
- Kafka3.x
-
- 一、Kafka简介
-
- 1.1、定义
- 1.2、消息队列
-
- 1.2.1.传统消息队列的应用场景
- 1.2.2.消息队列的两种模式
- 1.3、Kafka基础架构
- 二、Kafka快速入门
-
- 2.1、安装部署
-
- 2.1.1、集群规划
- 2.1.2、集群部署
- 2.1.3.集群启停脚本
- 2.2、Kafka 命令行操作
-
- 2.2.1.操作主题命令行
- 2.2.2.生产者命令操作
- 2.2.3.消费者命令操作
- 三、Kafka 生产者
-
- 3.1.生产者信息发送流程
-
- 3.1.1、发送原理
- 3.1.2.生产者重要参数列表
- 3.2、异步发送 API
-
- 3.2.一、普通异步发送
- 3.2.2.带回调函数的异步发送
- 3.3、同步发送 API
- 3.4.生产者分区
-
- 3.4.1、分区好处
- 3.4.2.生产者发送消息的分区策略
- 3.4.三、自定义分区器
- 3.5.生产经验-生产者如何提高吞吐量?
- 3.6.生产经验-数据可靠性
- 3.7.生产经验-重数据
-
- 3.7.1.数据传输语义
- 3.7.2、幂等性
- 3.7.3.生产者事务
- 3.8.生产经验-数据有序
- 3.9.生产经验-数据混乱
- 四、Kafka Broker
-
- 4.1、Kafka Broker 工作流程
-
- 4.1.1、Zookeeper 存储的 Kafka 信息
- 4.1.2、Kafka Broker 整体工作流程
- 4.1.3、Broker 重要参数
- 4.2、生产经验——节点服役和退役
-
- 4.2.1.服务新节点
- 4.3、Kafka 副本
-
- 4.3.1.复制基本信息
- 4.3.2、Leader 选举流程
- 4.3.3、Leader 和 Follower 故障处理细节
- 4.3.4.分区副本分配
- 4.3.5、生产经验——手动调整分区副本存储
- 4.3.6、生产经验——Leader Partition 负载平衡
- 4.3.7.生产经验-增加副本因子
- 4.4、文件存储
-
- 4.4.1.文件存储机制
- 4.4.2.文件清理策略
- 4.5.高效读写数据
- 五、Kafka 消费者
-
- 5.1、Kafka 消费方式
- 5.2、Kafka 消费者工作流程
-
- 5.2.1.消费者的整体工作流程
- 5.2.2.消费群体原则
- 5.2.3.消费者的重要参数
- 5.3、消费者 API
-
- 5.3.1.独立消费者案例(订阅主题)
- 5.3.2.独立消费者案例(订阅分区)
- 5.3.3.消费者组案例
- 5.4.生产经验-分区分布和再平衡
-
- 5.4.1、Range 以及再平衡
- 5.4.2、RoundRobin 以及再平衡
- 5.4.3、Sticky 以及再平衡
- 5.5、offset 位移
-
- 5.5.1、offset 默认维护位置
- 5.5.2、自动提交 offset
- 5.5.3、手动提交 offset
- 5.5.4、指定 Offset 消费
- 5.5.5.指定时间消费
- 5.5.6、漏消费和重复消费
- 5.6.生产经验-消费者事务
- 5.7.生产经验-数据积压(消费者如何增加吞吐量)
- 六、Kafka-Eagle 监控
-
- 6.1、MySQL 环境准备
- 6.2、Kafka 环境准备
- 6.3、Kafka-Eagle 安装
- 七、Kafka-Kraft 模式
-
- 7.1、Kafka-Kraft 架构
- 7.2、Kafka-Kraft 集群部署
- 7.3、Kafka-Kraft 集群开始停止脚本
Kafka3.x
一、Kafka简介
1.1、定义
官网:https://kafka.apache.org/
Kafka 传统定义:Kafka是分布式基础 发布/订阅模式 的消息队列(Message Queue),主要用于大数据实时处理领域。
发布/订阅:新闻发布者不会将新闻直接发送给特定的订阅者,而是发布新闻 订阅者只接收感兴趣的信息,分为不同类别。
Kafka 最新定义 :Kafka流媒体平台是一个开源分布式事件(Event Streaming Platform), 数千家公司用于高性能数据管道、流媒体分析、数据集成和关键任务应用。
# 事件流是什么? - 事件流是人体中枢神经系统的数字等效物。它是永远在线世界的技术基础。在这个世界上,越来越多的企业被软件定义和自动化,软件用户更多的是软件。 - 从技术上讲,事件流是从事件源(如数据库、
传感器和移动设备)云服务和软件应用程序)以事件流的形式实时捕获数据的实践;持久存储这些事件流以供以后检索;实时和回顾性地操作、处理和响应事件流;并根据需要将事件流路由到不同的目标技术。因此,事件流确保了数据的连续流动和解释,以便正确的信息在正确的时间出现在正确的位置。 # 我可以将事件流用于什么? 事件流应用于众多行业和组织的各种用例。它的许多例子包括: - 实时处理支付和金融交易,例如在证券交易所、银行和保险中。 - 实时跟踪和监控汽车、卡车、车队和货运,例如在物流和汽车行业。 - 持续捕获和分析来自物联网设备或其他设备的传感器数据,例如工厂和风电场。 - 收集并立即响应客户互动和订单,例如零售、酒店和旅游行业以及移动应用程序。 - 监测住院病人,预测病情变化,确保在紧急情况下及时治疗。 - 连接、存储和提供公司不同部门产生的数据。 - 作为数据平台、事件驱动架构和微服务的基础。 # Apache Kafka® 是一个事件流平台。这意味着什么? Kafka 结合了三个关键功能,因此您可以 通过一个经过实战考验的解决方案实现端到端的事件流 用例: 1. 发布(写入)和订阅(读取)事件流,包括从其他系统持续导入/导出数据 。 2. 根据需要持久可靠地 存储事件流。 3. 在事件发生时或回顾性 地处理事件流。 所有这些功能都以分布式、高度可扩展、弹性、容错和安全的方式提供。Kafka 可以部署在裸机硬件、虚拟机和容器上,也可以部署在本地和云端。您可以在自行管理 Kafka 环境和使用各种供应商提供的完全托管服务之间进行选择。
1.2、消息队列
目 前 企 业 中 比 较 常 见 的 消 息 队 列 产 品 主 要 有 Kafka 、 ActiveMQ 、 RabbitMQ 、RocketMQ 等。
在大数据场景主要采用 Kafka 作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ、RabbitMQ、RocketMQ。
1.2.1、传统消息队列的应用场景
传统的消息队列的主要应用场景包括:缓存/消峰、解耦和异步通信。
缓冲/消峰:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。
解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。
异步通信:允许用户把一个消息放入队列,但并不立即处理它,然后在需要的时候再去处理它们。
1.2.2、消息队列的两种模式
1)点对点模式
- 消费者主动拉取数据,消息收到后清除消息
2)发布/订阅模式
- 可以有多个topic主题(浏览、点赞、收藏、评论等)
- 消费者消费数据之后,不删除数据
- 每个消费者相互独立,都可以消费到数据
1.3、Kafka基础架构
-
为方便扩展,并提高吞吐量,一个topic分为多个partition
-
配合分区的设计,提出消费者组的概念,组内每个消费者并行消费
-
为提高可用性,为每个partition增加若干副本,类似NameNode HA
-
ZK中记录谁是leader,Kafka2.8.0以后也可以配置不采用ZK
(1)Producer:消息生产者,就是向 Kafka broker 发消息的客户端。
(2)Consumer:消息消费者,向 Kafka broker 取消息的客户端。
(3)Consumer Group(CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
(4)Broker:一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic。
(5)Topic:可以理解为一个队列,生产者和消费者面向的都是一个 topic。
(6)Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上,一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列。
(7)Replica:副本。一个 topic 的每个分区都有若干个副本,一个 Leader 和若干个Follower。
(8)Leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是 Leader。
(9)Follower:每个分区多个副本中的“从”,实时从 Leader 中同步数据,保持和Leader 数据的同步。Leader 发生故障时,某个 Follower 会成为新的 Leader。
二、Kafka快速入门
2.1、安装部署
2.1.1、集群规划
hadoop102 | hadoop103 | hadoop104 |
---|---|---|
zk | zk | zk |
kafka | kafka | kafka |
2.1.2、集群部署
官方下载地址:http://kafka.apache.org/downloads.html
1)解压安装包
[atguigu@hadoop102 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
2)修改解压后的文件名称
[atguigu@hadoop102 module]$ mv kafka_2.12-3.0.0/ kafka
3)进入到/opt/module/kafka 目录,修改配置文件
[atguigu@hadoop102 kafka]$ cd config/
[atguigu@hadoop102 config]$ vim server.properties
输入以下内容:
#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数,默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个 segment 文件的大小,默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间,默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
4)分发安装包
[atguigu@hadoop102 module]$ xsync kafka/
5)分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties
中的 broker.id=1、broker.id=2
注:broker.id 不得重复,整个集群中唯一。
[atguigu@hadoop103 module]$ vim kafka/config/server.properties
修改:
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
[atguigu@hadoop104 module]$ vim kafka/config/server.properties
修改:
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
6)配置环境变量
# 1.在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置
[atguigu@hadoop102 module]$ sudo vim /etc/profile.d/my_env.sh
# 增加如下内容:
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
# 2.刷新一下环境变量。
[atguigu@hadoop102 module]$ source /etc/profile
# 3.分发环境变量文件到其他节点,并 source。
[atguigu@hadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh
[atguigu@hadoop103 module]$ source /etc/profile
[atguigu@hadoop104 module]$ source /etc/profile
7)启动集群
# 1.先启动 Zookeeper 集群,然后启动 Kafka。
[atguigu@hadoop102 kafka]$ zk.sh start
# 2.依次在 hadoop102、hadoop103、hadoop104 节点上启动 Kafka。
[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[atguigu@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[atguigu@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
注意:配置文件的路径要能够到 server.properties。
8)关闭集群
[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh
2.1.3、集群启停脚本
1)在/home/atguigu/bin 目录下创建文件 kf.sh 脚本文件
[atguigu@hadoop102 bin]$ vim kf.sh
脚本如下:
#! /bin/bash
case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
echo " --------启动 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
echo " --------停止 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
done
};;
esac
2)添加执行权限
[atguigu@hadoop102 bin]$ chmod +x kf.sh
3)启动集群命令
[atguigu@hadoop102 ~]$ kf.sh start
4)停止集群命令
[atguigu@hadoop102 ~]$ kf.sh stop
注意:停止 Kafka 集群时,一定要等 Kafka 所有节点进程全部停止后再停止 Zookeeper集群。因为 Zookeeper 集群当中记录着 Kafka 集群相关信息,Zookeeper 集群一旦先停止,Kafka 集群就没有办法再获取停止进程的信息,只能手动杀死 Kafka 进程了。
2.2、Kafka 命令行操作
2.2.1、主题命令行操作
1)查看操作主题命令参数
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh
参数 | 描述 |
---|---|
–bootstrap-server |
连接的 Kafka Broker 主机名称和端口号。 |
–topic |
操作的 topic 名称。 |
–create | 创建主题。 |
–delete | 删除主题。 |
–alter | 修改主题。 |
–list | 查看所有主题。 |
–describe | 查看主题详细描述。 |
–partitions |
设置分区数。 |
–replication-factor |
设置分区副本。 |
–config |
更新系统默认的配置。 |
2)查看当前服务器中的所有 topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
3)创建 first topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first
选项说明:
--topic 定义 topic 名
--replication-factor 定义副本数
--partitions 定义分区数
4)查看 first 主题的详情
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first
5)修改分区数(注意:分区数只能增加,不能减少)
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3
6)再次查看 first 主题的详情
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first
7)删除 topic(学生自己演示)
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first
2.2.2、生产者命令行操作
1)查看操作生产者命令参数
[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh
参数 | 描述 |
---|---|
–bootstrap-server |
连接的 Kafka Broker 主机名称和端口号。 |
–topic |
操作的 topic 名称。 |
2)发送消息
[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first
>hello world
>atguigu atguigu
2.2.3、消费者命令行操作
1)查看操作消费者命令参数
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh
参数 | 描述 |
---|---|
–bootstrap-server |
连接的 Kafka Broker 主机名称和端口号。 |
–topic |
操作的 topic 名称。 |
–from-beginning | 从头开始消费。 |
–group |
指定消费者组名称。 |
2)消费消息
# 1.消费 first 主题中的数据。
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
# 2.把主题中所有的数据都读取出来(包括历史数据)。
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first
三、Kafka 生产者
3.1、生产者消息发送流程
3.1.1、发送原理
在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。
3.1.2、生产者重要参数列表
参数名称 | 描述 |
---|---|
bootstrap.servers | 生 产 者 连 接 集 群 所 需 的 broker 地 址 清 单 。 例 如 hadoop102:9092,hadoop103:9092,hadoop104:9092,可以 设置 1 个或者多个,中间用逗号隔开。注意这里并非 需要所有的 broker 地址,因为生产者从给定的 broker 里查找到其他 broker 信息。 |
key.serializer 和 value.serializer | 指定发送消息的 key 和 value 的序列化类型。一定要写 全类名。 |
buffer.memory | RecordAccumulator 缓冲区总大小,默认 32m。 |
batch.size | 缓冲区一批数据最大值,默认 16k。适当增加该值,可 以提高吞吐量,但是如果该值设置太大,会导致数据 传输延迟增加。 |
linger.ms | 如果数据迟迟未达到 batch.size,sender 等待 linger.time 之后就会发送数据。单位 ms,默认值是 0ms,表示没 有延迟。生产环境建议该值大小为 5-100ms 之间。 |
acks | 0:生产者发送过来的数据,不需要等数据落盘应答。 1:生产者发送过来的数据,Leader 收到数据后应答。 -1(all):生产者发送过来的数据,Leader+和 isr 队列 里面的所有节点收齐数据后应答。默认值是-1,-1 和 all 是等价的。 |
max.in.flight.requests.per.connection | 允许最多没有返回 ack 的次数,默认为 5,开启幂等性 要保证该值是 1-5 的数字。 |
retries | 当消息发送出现错误的时候,系统会重发消息。retries 表示重试次数。默认是 int 最大值,2147483647。 如果设置了重试,还想保证消息的有序性,需要设置 MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1 否则在重试此失败消息的时候,其他的消息可能发送 成功了。 |
retry.backoff.ms | 两次重试之间的时间间隔,默认是 100ms。 |
enable.idempotence | 是否开启幂等性,默认 true,开启幂等性。 |
compression.type | 生产者发送的所有数据的压缩方式。默认是 none,也 就是不压缩。 支持压缩类型:none、gzip、snappy、lz4 和 zstd。 |
3.2、异步发送 API
3.2.1、普通异步发送
1)需求:创建 Kafka 生产者,采用异步的方式发送到 Kafka Broker
2)代码编写
(1)创建工程 kafka
(2)导入依赖
<dependencies>
<dependency>
<groupId>org.apache.kafkagroupId>
<artifactId>kafka-clientsartifactId>
<version>3.0.0version>
dependency>
dependencies>
(3)创建包名:com.atguigu.kafka.producer
(4)编写不带回调函数的 API 代码
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
public class CustomProducer {
public
static
void
main(String[]
args)
throws
InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息:bootstrap.servers
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"hadoop102:9092");
// key,value 序列化(必须):key.serializer,value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
"org.apache.kafka.common.serialization.StringSerializer");
// 3. 创建 kafka 生产者对象
KafkaProducer<String, String>
kafkaProducer
=
new
KafkaProducer<String, String>(properties);
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new
ProducerRecord<>("first","atguigu " + i));
}
// 5. 关闭资源
kafkaProducer.close();
}
}
测试:
①在 hadoop102 上开启 Kafka 消费者。
[atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
②在 IDEA 中执行代码,观察 hadoop102 控制台中是否接收到消息。
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
atguigu 0
atguigu 1
atguigu 2
atguigu 3
atguigu 4
3.2.2、带回调函数的异步发送
回调函数会在 producer 收到 ack 时调用,为异步调用,该方法有两个参数,分别是元数据信息(RecordMetadata)和异常信息(Exception),如果 Exception 为 null,说明消息发送成功,如果 Exception 不为 null,说明消息发送失败。
注意:消息发送失败会自动重试,不需要我们在回调函数中手动重试。
import org.apache.kafka.clients.producer.*;
import java.util.Properties;
public class CustomProducerCallback {
public static void main(String[] args) throws InterruptedException {
// 1. 创建 kafka 生产者的配置对象
Properties properties = new Properties();
// 2. 给 kafka 配置对象添加配置信息
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092");
// key,value 序列化(必须):key.serializer,value.serializer
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
// 3. 创建 kafka 生产者对象
KafkaProducer<String,String> kafkaProducer = new KafkaProducer<String, String>(properties);
// 4. 调用 send 方法,发送消息
for (int i = 0; i < 5; i++) {
// 添加回调
kafkaProducer.send(new ProducerRecord<>("first","atguigu " + i), new Callback() {
// 该方法在 Producer 收到 ack 时调用,为异步调用
@Override
public void onCompletion(RecordMetadata metadata, Exception exception) {
if (exception == null) {
// 没有异常,输出信息到控制台
System.out.println("主题:"+metadata.topic() + "->" + "分区:" + metadata.partition());
} else {
// 出现异常打印
exception.printStackTrace();
}
}
});
// 延迟一会会看到数据发往不同分区
Thread.sleep(2);
}
// 5. 关闭资源
kafkaProducer.close();
}
}
测试:
①在 hadoop102 上开启 Kafka 消费者。
[atguigu@hadoop103kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
②在 IDEA 中执行代码,观察 hadoop102 控制台中是否接收到消息。
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
atguigu 0
atguigu 1
atguigu 2
atguigu 3
atguigu 4
③在 IDEA 控制台观察回调信息。
主题:first->分区:0
主题:first->分区:0
主题:first->分区:1
主题:first->分区:1
主题:first->分区:1
3.3、同步发送 API
只需在异步发送的基础上,再调用一下 get()方法即可。
import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; import java.util.concurrent.ExecutionException; public class CustomProducerSync { public static void main(String[] args)throws InterruptedException, ExecutionException { // 1. 创建 kafka 生产者的配置对象 Properties properties = new Properties(); // 2. 给 kafka 配置对象添加配置信息 properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092"); // key,value 序列化(必须):key.serializer,value.serializer properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName()); properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName()); // 3. 创建 kafka 生产者对象 KafkaProducer<String,String> kafkaProducer = new KafkaProducer<String, String>(properties); // 4. 调用 send 方法,发送消息 for (int i = 0; i < 10; i++) { // 异步发送 默认 kafkaProducer.send(new ProducerRecord<>("first","kafka" + i)); // 同步发送 kafkaProducer.send(new ProducerRecord<>("first","kafka" + i)).get(); } // 5. 关闭资源 kafkaProducer.close(