【hive/beeline/spark】建表多分隔符,报:org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

大数据平台从Impala切换到Beeline连接Hive后,遇到Hive不支持多字符行分隔符的问题。在Hive Shell、Beeline和Spark中执行DDL语句时,均因缺少hive-contrib-2.1.1-cdh6.1.0.jar导致错误。解决方案是将该jar包拷贝到相应目录,或者修改hive-site.xml配置。手动拷贝适用于jar包位置不统一且节点较少的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【hive/beeline/spark】建表多分隔符,报:org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

前言

大数据平台数据入湖逻辑执行方式从Impala改为beeline(连接hive)的方式后,在sql语句层面上做了一些调整(如DDL语句、分区字段等)。而后又发现,切换后hive默认不支持多字符作为行分隔符,设置多个字符==!@!==,但只会识别第一个字符!,后续@会被当做字段值识别,导致数据被污染:

……
ROW FORMAT DELIMITED FIELDS TERMINATED BY '!@!'
……

HIVE SHELL调整

于是调整一下建表语句:

……
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ('field.delim'='!@!')
……

报错

hive shell执行报错:

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.hadoop.hive.ql.plan.TableDesc.getDeserializerClass(TableDesc.java:72)
    ... 32 more

解决方案

找到CDH hive的依赖包路径,找到contrib目录:

[root@bigd-dev014-10 hive]# pwd
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值