当前位置: 首页 > news >正文

SpringBoot整合Canal+RabbitMQ监听数据变更

需求

在现代分布式系统中,实时获取数据库的变更信息是一个常见的需求。例如,在电商系统中,当订单表发生更新时,可能需要同步这些变更到搜索服务、缓存服务或者通知其他微服务。传统的解决方案包括定时轮询数据库或通过触发器将变更写入消息队列等方法,但这些方案要么效率低下,要么实现复杂。而使用 Canal + RabbitMQ 可以提供一种高效且可靠的方式来捕获 MySQL 数据库的变更,并将其发送到 RabbitMQ 中供其他服务消费。

Canal 是阿里巴巴开源的一个用于增量订阅和消费 MySQL 数据库 Binlog 的工具,它模拟 MySQL 主从复制机制,无需侵入业务逻辑即可捕获数据库变更。RabbitMQ 是一个流行的开源消息代理,支持多种协议并提供了丰富的特性来确保消息传递的可靠性。结合这两者,可以构建一个强大的实时数据变更监听和处理系统。

步骤

  1. 环境搭建
  2. 整合SpringBoot与Canal实现客户端
  3. Canal整合RabbitMQ
  4. SpringBoot整合RabbitMQ

环境搭建

1. 安装MySQL

确保你有一个正在运行的 MySQL 实例,并启用了 binlog 日志记录功能。这是 Canal 捕获数据库变更的基础。

# 修改 MySQL 配置文件 my.cnf 或 my.ini
[mysqld]
server-id=1
log-bin=mysql-bin
binlog-format=ROW

重启 MySQL 服务使配置生效。

2. 安装Canal Server

下载最新版本的 Canal Server 并解压到合适的位置。根据官方文档进行必要的配置,特别是 instance.properties 文件中的数据库连接信息。

3. 安装RabbitMQ

可以通过 Docker 快速安装 RabbitMQ:

docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:management

访问 http://localhost:15672 登录管理界面,默认用户名/密码为 guest/guest。

整合SpringBoot与Canal实现客户端
创建SpringBoot项目

使用 Spring Initializr 创建一个新的 Spring Boot 项目,添加 Web, JPA, 和 AMQP(用于后续整合 RabbitMQ)依赖。

引入Canal依赖

pom.xml 中添加 Canal Client 的依赖:

<dependency><groupId>com.alibaba.otter</groupId><artifactId>canal.client</artifactId><version>1.1.5</version>
</dependency>
编写Canal客户端代码

创建一个 Canal 客户端类,用来监听 MySQL 数据库的变化,并将变更事件转发给 RabbitMQ。

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.rabbitmq.client.Channel;public class CanalClient {private final CanalConnector connector;private final Channel channel;public CanalClient(CanalConnector connector, Channel channel) {this.connector = connector;this.channel = channel;}public void start() {// Canal 连接配置connector.connect();connector.subscribe(".*\\..*"); // 订阅所有数据库和表connector

http://www.mrgr.cn/news/82269.html

相关文章:

  • 【JS】期约的Promise.all()和 Promise.race()区别
  • 如何在Windows / Mac / Android上查看 HEIC 图像
  • Docker图形化界面工具Portainer最佳实践
  • 计算机视觉CV期末总复习
  • 趣味编程:心形曲线
  • 论文笔记PhotoReg: Photometrically Registering 3D Gaussian Splatting Models
  • gitlab的搭建及使用
  • uniapp H5 对接 声网,截图
  • 【Java回顾】 Day1简介-----变量命名规则
  • 时间序列预测算法---LSTM
  • Git的使用流程(详细教程)
  • Anaconda+PyTorch(CPU版)安装
  • net core介绍
  • 【0379】Postgres内核 walreceiver (libpqwalreceiver API)分析
  • 【面试AI算法题中的知识点】方向涉及:ML/DL/CV/NLP/大数据...本篇介绍Tensor RT 的优化流程。
  • FreeRTOS的队列
  • OpenCV-Python实战(13)——图像轮廓
  • UnityRenderStreaming使用记录(三)
  • 细说STM32F407单片机轮询方式CAN通信
  • 矩阵运算提速——玩转opencv::Mat
  • 解析 SQL 中的 NULL 与比较操作:NULL 值与任何值的比较会返回 UNKNOWN
  • 期末速成C++【知识点汇总完】
  • Flutter:打包apk,详细图文介绍(一)
  • 【系统分析师】- 案例 -数据库特训
  • Redis(一)基本特点和常用全局命令
  • 免费开源跨平台SSH工具 WindTerm:媲美 xshell 的最佳平替(含详细使用教程)