Hive之行转列/列转行

  1. 云栖社区>
  2. 博客>
  3. 正文

Hive之行转列/列转行

jouypub 2018-08-04 12:25:00 浏览703
展开阅读全文

1、行转列

场景:在hive表中,一个用户会有多个人群标签,List格式(逗号分隔如要转成List),有时我们需要统计一个人群标签下有少用户,这是就需要使用行转列了

例如,user_crowd_info有如下数据

visit_id    crowds
abc         [100,101,102]
def         [100,101]
abe         [101,105]

可以使用的函数

select explode(crowds) as crowd from user_crowd_info;

结果:
100
101
102
100
101
101
105

这样执行的结果只有crowd, 但是我们需要完整的信息,使用select visit_id, explode(crowds) as crowd from user_crowd_info;是不对的,会报错UDTF's are not supported outside the SELECT clause, nor nested in expressions

所以我们需要这样做:

select visit_id,crowd 
from user_crowd_info t lateral view explode(t.crowds) adtable as crowd;

2、列转行

使用concat_ws函数即可

select visit_id,concat_ws(,crowd) from user_crowd_info group by visit_id;

网友评论

登录后评论
0/500
评论
jouypub
+ 关注