当前位置: 首页 > news >正文

Kafka快速扫描

Architecture

系统间解耦,异步通信,削峰填谷
Topic 消息主题,用于存储消息
Partition 分区,通过扩大分区,可以提高存储量
Broker 部署Kafka服务的设备
Leader kafka主分区
Follwer kafka从分区
高性能之道:
读:零拷贝技术,sendfile
写:顺序写+ 内存映射文件,mmap

Config

Producer
ack&&retry机制
ack配置参数
0表示生产者只要将消息发出就认为发送成功,不会等待任何回复,性能最高
1表示生产者发出消息后,会等待Leader回复,收到回复后认为发送成功
all表示生产者发出消息后,会等待Leader和所有Follwer回复,才认为发送成功,最可靠
retry 发送失败重试
idempotence 幂等性配置
transaction-id 事务id配置,确保事务id唯一
batch-size 批处理大小
buffer-memory 缓冲区内存大小
key-serializer key 序列化
value-serializer value 序列化
Consumer
group-id 组id
auto-offset-reset 配置消费位置
earliest 表示从最早的位置开始消费
latest 表示从最新的下一个偏移位置消费
none 根据最近一次提交位置消费,没有提交位报错
enable-auto-commit 是否开启自动提交
auto-commit-interval 自动提交间隔
transaction-isolation-level 配置事务隔离级别
key-deserializer key 反序列化
value-deserializer value 反序列化

HW & LE

早期使用HW截断机制可能会造成丢失数据和数据不一致问题
0.11版本以后使用LE,不会直接截断,会根据leader返回的版本进行判断是否截断,从而避免了数据丢失和不一致问题


http://www.mrgr.cn/news/81082.html

相关文章:

  • 北邮,成电计算机考研怎么选?
  • 腾讯云云开发 Copilot 深度探索与实战分享
  • 《C++与 Armadillo:线性代数助力人工智能算法简化之路》
  • 从源码分析swift GCD_DispatchGroup
  • Halcon单相机+机器人=眼在手上#标定心得
  • (OCPP服务器)SteVe编译搭建全过程
  • Redis存在安全漏洞
  • EasyPoi 使用$fe:模板语法生成Word动态行
  • [react 3种方法] 获取ant组件ref用ts如何定义?
  • 麒麟操作系统服务架构保姆级教程(三)ssh远程连接
  • en3d 部署笔记
  • 数据可视化echarts学习笔记
  • 【老白学 Java】HashSet 应用 - 卡拉 OK(五)
  • 第1章 命题逻辑
  • Android13下拉状态栏QS面板的加载流程解析
  • 搭建MPI/CUDA开发环境
  • Mapbox-GL 中 `token` 的使用
  • 单元测试使用记录
  • LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct
  • 数据结构与算法再探(三)树
  • dockerfile文档编写(2):docker pull、apt install和pip镜像加速
  • EdgeX Core Service 核心服务之 Core Command 命令
  • xiaomiR4c openwrt
  • 2.6 网络面试问题
  • 音视频入门基础:AAC专题(13)——FFmpeg源码中,获取ADTS格式的AAC裸流音频信息的实现
  • strongswan测试证书生成