当前位置： 首页 > news >正文

HIVE技术

news 2025/1/14 19:25:09

本文章基于黑马免费资料编写。

hive介绍

  1. 简介
    在这里插入图片描述
  2. hive架构
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

hive需要启动的配置

  1. 执行元数据库初始化命令 使用hive必须启动的服务
 ./schematool -initSchema -dbType mysql -verbos
  1. 启动 Hive
    创建一个 hive 的日志文件夹
mkdir /export/server/hive/logs

启动元数据管理服务

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

启动客户端

  • Hive Shell 方式（可以直接写 SQL ）： bin/hive
  • Hive ThriftServer 方式（不可直接写 SQL ，需要外部客户端链接使用）：
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &
  • 用beeline连接：!connect jdbc:hive2://node1:10000 账号hadoop 密码无

数据库操作

  1. 创建数据库
#创建数据库
create database if not exists 数据库名;
#使用数据库
use 数据库名;
  1. 查看数据库详细信息
desc database 数据库名;

在这里插入图片描述数据库本质上就是在 HDFS 之上的文件夹。
默认数据库的存放路径是 HDFS 的： /user/hive/warehouse 内

  1. 创建数据库并指定 hdfs 存储位置
#指定存储位置
create database 数据库名 location 'hdfs文件路径';
#例如
create database myhive2 location '/myhive2';
  1. 删除数据库
#删除一个空数据库，如果数据库下面有数据表，那么就会报错
drop database myhive;
#强制删除数据库，包含数据库下面的表一起删除
drop database myhive2 cascade;

数据表操作

  • 创建数据表语法
    在这里插入图片描述
    • EXTERNAL ，创建外部表
    • PARTITIONED BY ， 分区表
    • CLUSTERED BY ，分桶表
    • STORED AS ，存储格式
    • LOCATION ，存储位置

  • 数据类型
    红色为常见的数据类型
    在这里插入图片描述

  1. 创建数据表
CREATE TABLE test(
id INT,
name STRING,
gender STRING
);
  1. 删除表
DROP TABLE table_name;

hive表类型

  • 内部表
  • 外部表
  • 分区表
  • 分桶表
  1. 内部表
CREATE TABLE table_name ...... 
#例如
create table if not exists stu(id int,name string);

未被 external 关键字修饰的即是内部表， 即普通表。 内部表又称管理表 , 内部表数据存储的位置由
hive.metastore.warehouse.dir 参数决定（默认： /user/hive/warehouse ），删除内部表会直接删除元数据（ metadata ）及存储数据，因此内部表不适合和其他工具共享数据。

  1. 外部表
CREATE EXTERNAL TABLE table_name ......LOCATION...... 
#例如
CREATE EXTERNAL TABLE stu(id int,name string) LOCATION '/myhive';

被 external 关键字修饰的即是外部表， 即关联表。
外部表是指表数据可以在任何位置，通过 LOCATION 关键字指定。 数据存储的不同也代表了这个表在理念是并不是Hive 内部管理的，而是可以随意临时链接到外部数据上的。所以，在删除外部表的时候， 仅仅是删除元数据（表的信息），不会删除数据本身。

内部表操作

在这里插入图片描述

  • 创建一个内部表并插入数据，查看数据存储位置
create database if not exists myhive;
use myhive;
create table if not exists stu(id int,name string);
insert into stu values (1,"zhangsan"), (2, "wangwu");
select * from stu;

在这里插入图片描述

  • 自行指定分隔符
create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t';
#解释
row format delimited fields terminated by '\t' ：表示以 \t 分隔

在这里插入图片描述

  1. 其它创建内部表的形式
#除了标准的 CREATE TABLE table_name 的形式创建内部表外
#基于查询结果建表
CREATE TABLE table_name as 
#例如
create table stu3 as select * from stu2;#基于已存在的表结构建表
CREATE TABLE table_name like
#例如
create table stu4 like stu2;#也可以使用 DESC FORMATTED table_name ，查看表类型和详情
DESC FORMATTED stu2;
  1. 删除内部表
DROP TABLE table_name
#例如
drop table stu2;

在这里插入图片描述

外部表操作

外部表，创建表被 EXTERNAL 关键字修饰，从概念是被认为并非 Hive 拥有的表，只是临时关联数据去使用。
创建外部表也很简单，基于外部表的特性，可以总结出： 外部表 和 数据 是相互独立的， 即：

  • 可以先有表，然后把数据移动到表指定的 LOCATION 中

  • 也可以先有数据，然后创建表通过 LOCATION 指向数据

  • 先有表再有数据


#1. 在 Linux 上创建新文件， test_external.txt，用'\t'分割
vim test_external.txt
#2.先创建外部表，然后移动数据到 LOCATION 目录
#首先检查： 确认不存在 /tmp/test_ext1 目录
hadoop fs -ls /tmp 
#创建外部
create external table test_ext1(id int, name string) row format delimited fields
terminated by ‘\t’ location ‘/tmp/test_ext1’;
#空结果，无数据
select * from test_ext1
#上传数据:
hadoop fs -put test_external.txt /tmp/test_ext1/
#即可看到数据结果
select * from test_ext1
  • 先有数据再有表
#在hdfs中创建文件夹
hadoop fs -mkdir /tmp/test_ext2
#将linux中的txt数据文件上传到hdfs中
hadoop fs -put test_external.txt /tmp/test_ext2/
#创建指定位置的外部表
create external table test_ext2(id int, name string) row format delimited fields terminated by ‘\t’ location ‘/tmp/test_ext2’;
#查询数据
select * from test_ext2;

在这里插入图片描述

内外部表切换

desc formatted stu;

在这里插入图片描述

#内部表转外部表
alter table stu set tblproperties('EXTERNAL'='TRUE');
#外部表转内部表
alter table stu set tblproperties('EXTERNAL'='FALSE');

要注意： (‘EXTERNAL’=‘FALSE’) 或 (‘EXTERNAL’=‘TRUE’) 为固定写法，区分大小写！！！

数据加载 - LOAD 语法

在这里插入图片描述
在这里插入图片描述

#建表,comment为加注释
CREATE TABLE myhive.test_load(
dt string comment ' 时间（时分秒） ',
user_id string comment ' 用户 ID',
word string comment ' 搜索词 ',
url string comment ' 用户访问网址 '
) comment ' 搜索引擎日志表 ' ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t';#加载数据,注意，基于 HDFS 进行 load 加载数据，源数据文件会消失（本质是被移动到表所在的目录中）
load data local inpath '/home/hadoop/search_log.txt' into table myhive.test_load;
load data inpath '/tmp/search_log.txt' overwrite into table myhive.test_load;

数据加载 - INSERT SELECT 语法

除了 load 加载外部数据外，我们也可以通过 SQL 语句，从其它表中加载数据。

INSERT [OVERWRITE | INTO] TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT
EXISTS]] select_statement1 FROM from_statement;
#将SELECT 查询语句的结果插入到其它表中，被 SELECT 查询的表可以是内部表或外部表。
INSERT INTO TABLE tbl1 SELECT * FROM tbl2;
INSERT OVERWRITE TABLE tbl1 SELECT * FROM tbl2;

数据加载 - 两种语法的选择

对于数据加载，我们学习了： LOAD 和 INSERT SELECT 的方式，那么如何选择它们使用呢？

  • 数据在本地
    • 推荐 load data local 加载
  • 数据在 HDFS
    • 如果不保留原始文件： 推荐使用 LOAD 方式直接加载
    • 如果保留原始文件： 推荐使用外部表先关联数据，然后通过 INSERT SELECT 外部表的形式加载数据
  • 数据已经在表中
    • 只可以 INSERT SELECT

hive 表数据导出 - insert overwrite 方式

  • 将 hive 表中的数据导出到其他任意目录，例如 linux 本地磁盘，例如 hdfs ，例如 mysql 等等
#语法
insert overwrite [local] directory ‘path’ select_statement1 FROM from_statement;
#将查询的结果导出到本地 - 使用默认列分隔符
insert overwrite local directory '/home/hadoop/export1' select * from test_load ;
#将查询的结果导出到本地 - 使用列分隔符
insert overwrite local directory '/home/hadoop/export2' row format delimited fields terminated by '\t'
select * from test_load;
#将查询的结果导出到HDFS上(不带local关键字)
insert overwrite directory '/tmp/export' row format delimited fields terminated by '\t' select * from test_load;

hive 表数据导出 - hive shell

#基本语法：（ hive -f/-e 执行语句或者脚本 > file ）
bin/hive -e "select * from myhive.test_load;" > /home/hadoop/export3/export4.txt
bin/hive -f export.sql > /home/hadoop/export4/export4.txt

注意：推荐将外部表加载到内部表管理

分区表

在这里插入图片描述
在这里插入图片描述

#基本语法 
create table tablename(...) partitioned by ( 分区列 列类型 , ......) row format delimited fields terminated by '';
#创建单分区表
create table score(s_id string,c_id string,s_score int) partitioned by ( month string) row format delimited fields terminated by '\t';
#创建多分区表
create table score(s_id string,c_id string,s_score int) partitioned by (year string,month string, day string) row format delimited fields terminated by '\t';
#加载数据到分区表中
load data local inpath '/export/server/hivedatas/score.txt' into table score partition(month='202501')
#加载数据到一个多分区表中
load data local inpath '/export/server/hivedatas/score.txt' into table score partition(year = '2025',month = '01',day='06')
  • 分区表的使用
#查看分区
show partitions score;
#添加一个分区
alter table score add partition(month='202506')
#同时添加多个分区
alter table score add partition(month='202501') partition(month='202502')
#删除分区
alter table score drop partition(month = '202501')

在这里插入图片描述


http://www.mrgr.cn/news/83688.html

相关文章：

  • Windows 安装 Docker 和 Docker Compose
  • Python语言的编程范式
  • CSS：定位
  • 一个简单的html5导航页面
  • Python Selenium库入门使用，图文详细。附网页爬虫、web自动化操作等实战操作。
  • Spring中三级缓存详细讲解
  • JAVA安全编码规范
  • 关于使用FastGPT 摸索的QA
  • python学opencv|读取图像（三十三）阈值处理-灰度图像
  • C/C++程序员为什么要了解汇编？了解汇编有哪些好处？如何学习汇编？
  • uniapp小程序分包路由跳转+二级页面详情跳转保留当前页方法教程
  • Http 响应状态码 前后端联调
  • ClickHouse大数据准实时更新
  • 开发人员学习书籍推荐（.NET、Python方向）
  • linux: 文本编辑器vim
  • 【数据结构】
  • Pandas常用数据类型
  • traceroute原理探究
  • 在线实用工具 json格式化，base64转码，正则表达式测试工具，在线去水印，在线图片压缩，在线图片转为Excel，在线图片拾取颜色
  • 25/1/13 嵌入式笔记 继续学习Esp32
  • 【8】深入理解 Go 语言中的协程-从基础到高级应用
  • 基于Piquasso的光量子计算机的模拟与编程
  • MySQL 与 Redis 的数据一致性问题
  • 网络原理（三）—— 传输层 之 UDP 和 TCP协议
  • STM32之LWIP网络通讯设计-下（十五）
  • day09_kafka高级