当前位置: 首页 > news >正文

OceanBase 大数据量导入(obloader)

现需要将源数据库(Oracle|MySQL等)一些表的海量数据迁移到目标数据库 OceanBase 中,基于常规 jdbc 驱动编码的方式涉及开发工作,性能效率也要看编码的处理机制。

OceanBase 官方提供了的 OceanBase Migration Service (OMS) 数据迁移工具,这个是需要部署的,存在一定的麻烦程度,适合专门的数据库管理员长期使用。对于开发者或者项目组临时迁移某表数据,官方提供的 纯客户端工具OBLoader 在常规数据一次性迁移的场景下,综合来说更简单方便。

迁移数据的方式如下图所示:
在这里插入图片描述

实测过一次 insert.sql 方式的导入,数据条数 10万,insert 内容的 sql 文件 97MB,导入耗时17秒。
因为没有反复测试,加上数据库环境等因素,实测的这次导入情况仅供参考,实际效率请以各位实际验证为准。

“官方提供的迁移方案” 具体支持情况如下:

迁移方案结构迁移全量数据迁移增量数据迁移数据校验支持的数据源
OMS支持支持支持支持OceanBase MySQL Oracle PostgreSQL DB2_LUW TiDB Kafka RocketMQ Datahub
obloader & obdumper支持支持不支持不支持OceanBase
SQL 脚本迁移支持支持不支持不支持主流数据库,但无法跨实例做数据迁移
MyDumper支持支持不支持不支持MySQL 兼容的数据源
DataX不支持支持不支持不支持较多,具体范围查看官方文档
OUTFILE 语句不支持支持不支持不支持MySQL OceanBase
DBCAT支持不支持不支持不支持较多,具体范围查看官方文档

OBLoader 官方文档:

  • 工具下载

  • 快速入门

  • 性能调优

这里只是列出了几个主要链接,更多操作官方文档都有。


(END)


http://www.mrgr.cn/news/78530.html

相关文章:

  • AppleVisionPro如何使用TestFlight快速分发测试-教程
  • canal同步数据教程
  • PostgreSQL在Linux环境下的常用命令总结
  • Python轴承故障诊断 (21)基于VMD-CNN-BiTCN的创新诊断模型
  • [论文阅读]On the Risk of Misinformation Pollution with Large Language Models
  • C#面向对象,封装、继承、多态、委托与事件实例
  • React第十节组件之间传值之context
  • SpringBoot实战(三十二)集成 ofdrw,实现 PDF 和 OFD 的转换、SM2 签署OFD
  • 【Electron学习笔记(二)】基于Electron开发应用程序
  • 算法基础 - 求解非线性方程(二分迭代法)
  • 超级详细讲解转义字符,\? \‘ \f \0 \t等等!!!
  • 【科研】9如何高效阅读和理解学术论文
  • C++ 类(Class)
  • Web Worker 和 WebSocket的区别
  • 跨平台应用开发框架(3)-----Qt(样式篇)
  • 自动控制原理——BliBli站_DR_CAN
  • python学习——元组的创建于删除
  • 快速理解微服务中Fegin的概念
  • scrapy爬虫框架小案例
  • JVM:即时编译器,C2 Compiler,堆外内存排查
  • 6.结果处理组件之ResponseHandler
  • 微信小程序蓝牙writeBLECharacteristicValue写入数据返回成功后,实际硬件内信息查询未存储?
  • Flink四大基石之窗口(Window)使用详解
  • 群控系统服务端开发模式-应用开发-邮箱配置功能开发
  • 全链接神经网络拟合函数
  • 【halcon】Metrology工具系列之get_metrology_object_result_contour