SQL之concat()、collect_set()、collect_list()和concat_ws()用法

1、concat_ws()函数和concat()函数的拼接使用极其区别

1.1区别

concat()：函数在连接字符串的时候，只要其中一个是NULL，那么将返回NULL

执行代码：select concat('a','b',null);执行结果：NULL

concat_ws()：函数在连接字符串的时候，只要有一个字符串不是NULL，就不会返回NULL。concat_ws()：函数需要指定分隔符。

执行代码1：hive> select concat_ws('-','a','b');执行结果：a-b执行代码2：hive> select concat_ws('-','a','b',null);执行结果：a-b执行代码3：hive> select concat_ws('','a','b',null);执行结果：ab

2、collect_set()无序和collect_list()的区别

参考链接：SQL小知识点系列-3-collect_list/collect_set（列转行） – 知乎

2.1区别：

他们都是将分组中的某列转为一个数组返回，

不同的是collect_list不去重而collect_set去重

2.2 collect_list()函数有序不去重

2.3 collect_set()无序去重

根据某个字段分组后，利用collect_list()函数把分在一组的数据合并在一起，默认分隔符’,’ 如

2.4实例

原始temp数据

期望值

输入代码：

selectt.id,concat_ws(',', collect_set(t.class))fromtemp tgroup byt.id

实际结果，class合并后并不是有序

解决方式：
将collect_set无序集合，改成collect_list或sort_array进行排序。

concat_ws(',', sort_array(collect_set(t.class), false))

sort_array(e: column, asc: boolean)将array中元素排序(自然排序)，默认asc。

或者：

concat_ws(',',collect_list(t.class))

结果，class合并后有序