当前位置: 首页 > news >正文

Kafka经典面试题

1、kafka消息发送的流程?

 
 

producer发送过程中启动两个线程 一个main线程 一个sender线程,在main线程中先创建一个双端队列(RecordAccumlator、producerbatch),main将我们需要发送的东西经过拦截器,序列化,分区器,发送到双端队列中(双端队列中的内存默认为32m 可以在配置中修改),sender线程不断的从双端队列中拉取消息,等待达到batch.size的值后(默认16k),发送消息到kafka集群,如果一直达不到batch.size的值,就等待达到linger.ms值的时间后发送数据,返回一个InflightRequests请求(可通过配置文件修改1-5),意思就是发送5条消息,kafka集群收到消息后,会进行acks应答,如果kafka集群中的消息同步成功,返回成功的应答信息,sender中清理掉成功发送的消息,如果发送失败sender就会重试(retries)重新发送

2、Kafka 的设计架构你知道吗?

 

Kafka 将消息以 topic 为单位进行归纳(存储在了zk中,可选择),发布消息的程序称为 Producer,消费消息的程序称为 Consumer。它是以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 Broker,Producer 通过网络将消息推送到 kafka 集群,消费者从集群中拉取数据,broker 在中间起到一个代理保存消息的中转站,broker中还有可以通过分区提高数据的并行度等,broker还有着leader以及follower的高可用机制,即使有服务器挂掉,其他的依旧可以顶上保证kafka的正常运行

3、Kafka 分区的目的?

1)提高并行度: 以分区为单位进行消息的发送与消费

2)有利于更加合理的储存资源: 当数据在broker中存储的的时候,分区可以将大量的数据切成一块一块的,存储资源更加合理。而且合理的控制分区的数量,还可以实现负载均衡的效果

4、你知道 Kafka 是如何做到消息的有序性?

 

生产者发送的数据,单分区内可以做到有序,多分区,无法保证,除非把多个分区的数据拉到消费者端,进行排序,但这样做需要等,效率很低,还不如直接设置一个分区。

5、ISR、OSR、AR 是什么?

 

isr:isr中只显示活着的follower与leader的broker id

osr:表示 Follower 与 Leader 副本同步时,连接不到的副本id

AR:kafka分区中所有副本的id都会在AR中显示

AR = isr + osr

6、Kafka 在什么情况下会出现消息丢失

 

1)acks的级别设置为 0 的时候,此时producer发送消息后,不需要等待应答就结束了,很容易造成数据丢失

2)acks的级别设置为 1 的时候,此时producer发送消息后,Leader收到消息后应答(不等待follower同步数据),应答完成后,producer就认为消息发送成功,这时follower中并没有同步数据,一但此时leader挂了,通过选举机制产生的新leader中不会收到之前收到的消息,因为producer得到了应答,认为当时的消息已经发送成功了,此时数据就丢失了

3)acks的级别设置为 -1(all) 的时候,虽然此时等待producer发送消息后,leader和follower都同步消息后,才会应答给producer,数据就不容易丢失,可靠性高,但是效率较低 但是,当acks=-1的时候也会有些问题,当leader收到消息后,所有的follower都开始同步消息,但是如果此时某个follower出现问题,同步不到消息,也会造成数据丢失

7、怎么尽可能保证 Kafka 的可靠性

 

将acks的级别设置为-1 + 分区数大于等于2 + isr中可应答(活着的)副本数大于等于2,这样做只能保证数据不丢失,但是不确保数据不会重复,所以还需要引入幂等性和事务(保证数据唯一)这样,数据就一定可靠了,即保证数据不丢,又保证数据不重复

8、Kafka中如何做到数据唯一,即数据去重?

 

利用幂等性 + 事务 幂等性虽然能做到去重,但是只能保证单分区内数据不重复,且服务器不挂掉的情况下,所以我们还需要使用事务来保证数据的唯一 开启参数 enable.idempotence 默认为 true,false 关闭。 幂等性:生产者不论给broker中发送了多少条消息,broker中只会持久化一条

9、生产者如何提高吞吐量?

 

修改生产者重要参数的值

1、batch.size:批次大小,默认16k

2、linger.ms:等待时间,修改为5-100ms

3、compression.type:压缩snappy

4、 RecordAccumulator:缓冲区大小,修改为64m

10、zk在kafka集群中有何作用

 

kafka中的消息都是存储到了zk上的 在安装kafka的时候,修改了server.properties配置文件,在zk连接的位置写入了/kafka,加入没有写这个的话,kafka的消息就会存储到zk的根节点下

11、简述kafka集群中的Leader选举机制

 

当Leader挂了的时候,在isr中存活、AR中最靠前follower会通过选举机制成为新的Leader

12、kafka是如何处理数据乱序问题的。

 

通过幂等性,幂等性不但可以去重,还有排序的功能 幂等性:生产者不论给broker中发送了多少条消息,broker中只会持久化一条

13、kafka中节点如何服役和退役

 

前提:如果想要加入新的服役节点,需要在/etc/hosts中配置新的broker的节点ip以及hostname

服役:创建一个json文件,里面写入新topic的id以及version:1,通过kafka-reassign-partitions.sh命令执行json文件, --broker-list副本写入需要服役broker的id --generate执行,执行后会产生一堆的json内容,复制到新的json文件中,再通过kafka-reassign-partitions.sh --reassignment-json-file 后面写新的json文件名 --execute 执行此计划

退役:和服役一样,不同点就在于-broker-list副本写入需要服役broker的id不同

14、Kafka中Leader挂了,Follower挂了,然后再启动,数据如何同步?

 

当Leader挂了的时候,在isr中存活、AR中最靠前follower会通过选举机制成为新的Leader(即使此前的Leader重启了,它也不会变成leader),这时其他follower中log文件高于HW的部分截取掉,再从新的Leader中同步

当follower挂了的时候,挂掉的follower会被踢出isr,其他的leader和follower继续同步数据,重启后,此follower会从上一次挂掉的节点,直接切掉后面的数据,重新从之前挂掉的节点开始同步数据

15、kafka中初始化的时候Leader选举有一定的规律,如何打破这个规律呢?

 

初始化后,ar中的顺序和isr中的是一样的

当有节点(比如是1)挂掉的时候,isr这个中这个副本数就会消失,isr中存活且ar中排名靠前的副本,将会成为新的leader,再次启动原来的leader,此时这个leader就会变成follower,顺序错乱

初始化时:

0分区中:ar中是【0,1,2】 isr中也是【0,1,2】 leader:0

1分区中:ar中是【1,2,0】 isr中也是【1,2,0】 leader:1

2分区中:ar中是【2,0,1】 isr中也是【2,0,1】 leader:2

节点(1)挂掉后:

0分区中:ar中是【0,1,2】 isr中也是【0,2】 leader:0

1分区中:ar中是【1,2,0】 isr中也是【2,0】 leader:2

2分区中:ar中是【2,0,1】 isr中也是【2,0】 leader:2

节点(1)再次重启后,顺序错乱

0分区中:ar中是【0,1,2】 isr中也是【0,2,1】 leader:0

1分区中:ar中是【1,2,0】 isr中也是【2,0,1】 leader:2

2分区中:ar中是【2,0,1】 isr中也是【2,0,1】 leader:2


http://www.mrgr.cn/news/69055.html

相关文章:

  • 3. Spring Cloud Eureka 服务注册与发现(超详细说明及使用)
  • python爬虫(二)爬取国家博物馆的信息
  • 深入理解Flutter生命周期函数之StatefulWidget(一)
  • Spring Boot框架:电商系统的技术革新
  • aws(学习笔记第十二课) 使用AWS的RDS-MySQL
  • 机器学习day2-特征工程
  • 前端必知必会-JavaScript 数组属性和方法
  • JDBC学习记录
  • 【万方数据】protobuf 逆向
  • jdk 1.8新特性--接口增强
  • Node.js 常用工具util、文件系统使用介绍 (基础介绍 七)
  • C语言多维数组抽象理解:切格子思维
  • Go 中的泛型,日常如何使用
  • D63【python 接口自动化学习】- python基础之数据库
  • 随身 WiFi 锁频段、频点和小区提升网速
  • 24-11-9-读书笔记(三十二)-《契诃夫文集》(六)上([俄] 契诃夫 [译] 汝龙)药品是甜的,真理是美的,咖啡是苦的,生活是什么啊?
  • Linux 零拷贝技术
  • VScode中使用Cmake遇到的问题及其解决方法[最全+亲测有效]
  • 食品加工厂废水处理设备结构与功能
  • 【梯度下降法优化】随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、Adam
  • Chromium 中chrome.tabs扩展接口定义c++
  • 青少年编程与数学 02-003 Go语言网络编程 19课题、Go语言Restful编程
  • 自动驾驶系列—DAI起步提醒功能:让你不再错过每一个绿灯
  • C++入门基础(二)
  • STM32单片机WIFI语音识别智能衣柜除湿消毒照明
  • 共享汽车管理:SpringBoot技术实现指南