当前位置: 首页 > news >正文

【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle将mysql数据导入hive、将hive数据导入mysql)

文章目录

  • 一、安装
    • 1、解压
    • 2、修改字符集
    • 3、启动
  • 二、实战
    • 1、将hive数据导入mysql
    • 2、将mysql数据导入到hive


一、安装

Kettle的安装包在文章结尾

1、解压

在windows中解压到一个非中文路径下

2、修改字符集

修改 spoon.bat 文件
[图片]

"-Dfile.encoding=UTF-8"

3、启动

以管理员身份运行 spoon.bat 文件

二、实战

1、将hive数据导入mysql

kettle连接hive前配置:
[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

2、将mysql数据导入到hive

和将hive数据导入mysql一样

有时候,运行成功,有时候只能导入 2 条数据,然后报错,可以在 hive 的 conf 下的 .hiverc 下,添加如下:

set hive.stats.column.autogather=false;

然后不需要重启 hiveserver2 以及 kettle,直接运行即可。

通过网盘分享的文件:Kettle
链接: Kettle安装包
提取码: 1234


http://www.mrgr.cn/news/65478.html

相关文章:

  • MySQL 处理重复数据
  • Java环境下配置环境(jar包)并连接mysql数据库
  • 市象独家|百度副总裁陈一凡轮岗MEG;美团开放两项员工专属优惠 美团
  • springboot 单元测试-各个模块举例
  • LeetCode:82. 删除排序链表中的重复元素 II(重复的一个都不保留)
  • 机器学习的转型
  • 分布式光伏管理办法
  • 【AD】2-3 多Part元件的绘制实例-运放
  • 视频去水印怎么办?两种方法教会你
  • 在区块链技术中,什么是工作量证明(PoW)?
  • java版询价采购系统 招投标询价竞标投标系统 招投标公告系统源码
  • 精华帖分享|缠论系列 -笔
  • 交易是最难的工作!
  • 倍增 st表 RMQ问题
  • 【ARM Linux 系统稳定性分析入门及渐进 1.3 -- Crash 工具调用】
  • 原生鸿蒙应用市场:开发者的新机遇与深度探索
  • 自恋型人格障碍
  • Spring连接数据库(以配置类的形式)
  • flutter 专题二 Flutter状态管理之Riverpod 0.8.4
  • 前端技术月刊-2024.11
  • JZ7 重建二叉树
  • Docker:网络 Network
  • 【大语言模型学习笔记】第一篇:LLM大规模语言模型介绍
  • 【Mac】安装 VMware Fusion Pro
  • 网络安全到底是什么?看完你就懂了(附学习资料)
  • Linux云计算个人学习总结(一)