当前位置：首页 > news >正文

hive—炸裂函数explode/posexplode

news 2024/12/17 15:00:41

1、Explode炸裂函数

将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map）

语法：

select explode(字段) as 字段命名 from 表名;

举例：

1）explode(array)使得结果中将array列表里的每个元素生成一行

select explode(array('1','2','3')) DD

2）explode(map)使得结果中将map里的每一对元素作为一行，key为一列，value为一列

select explode(map('A','1','B','2','C','3'));
select explode(map('Chinese','100','Math','88','English','38'));

局限性：

1、不能关联原有的表中的其他字段

2、不能与group by、cluster by、distribute by、sort by联用

3、不能进行UDTF嵌套

2、posexplode()函数

explode()：对一列进行炸裂可以使用

posexplode()：对两列进行多行转换，可以将index和数据都取出来，使用两次posexplode并令两次取到的index相等即可

举例：

select posexplode(collect_set('AA'))

collect_set：将某字段进行去重处理，返回array类型

1）实例一


--数据准备
with tmp_cust_no as(
select '6738314' cust_no,'#$}' cd_str
union all
select '4198898' cust_no,'#$(}' cd_str
),tmp_cd_desc as(
select '#' cd, '大宗交易' cd_desc
union all
select '$' cd, '北交所股票' cd_desc
union all
select '}' cd, '不定项' cd_desc
union all
select '(' cd, '委托应急' cd_desc
),--1、用 posexplode 函数炸裂cd_str字段成行
tmp_cd_str as(
select 
t.cust_no,
t.cd_str, --需要遍历的字符串
pos, --索引
substr(t.cd_str,pos+1,1) cd_str1 , --获取字符串中索引位置的值
substr(t.cd_str,0,pos+1) cd_str2 --从起始位置开始到当前位置的字符串
from 
(select A.*, posexplode(split(space(length(cd_str)-1),' ')) 
from tmp_cust_no A 
where length(trim(A.cd_str))>0) t
),--2、匹配码表数据
--tmp_cd_str_desc as()
select A.cust_no,
A.cd_str,
concat_ws(',',collect_set(B.cd_desc)) cd_str_desc
from tmp_cd_str A
inner join tmp_cd_desc B on A.cd_str1=B.cd
group by A.cust_no,
A.cd_str

步骤1：用 posexplode 函数炸裂cd_str字段成行的输出：