4

使用 UDF 的 Hive 查询输出最后包含这 2 个警告。如何抑制这两个警告。请注意,作为输出的一部分,2 个警告紧跟在输出之后。

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.

hadoop 版本

Hadoop 2.6.0-cdh5.4.0

蜂巢--版本

Hive 1.1.0-cdh5.4.0
4

3 回答 3

1

如果您使用beeline 而不是Hive,错误就会消失。不是最好的解决方案,但我打算发帖到 CDH 用户组询问相同的问题,看看它是否是可以修复的错误。

于 2015-08-05T03:38:41.573 回答
0

尝试设置 HIVE_ADD_SPARK_ASSEMBLY=false,但没有成功。

最后,我在 Cloudera 社区找到了一个帖子问题。请参阅:https ://community.cloudera.com/t5/Support-Questions/Warning-message-in-Hive-output-after-upgrading-to-hive/td-p/157141

您可以尝试以下命令,它对我有用!

hive -S -d ns=$hiveDB -d tab=$t -d dunsCol=$c1 -d phase="$ph1" -d error=$c2 -d ts=$eColumnArray -d reporting_window=$rDate -f $dir'select_count.hsql' | grep -v "^WARN" > $gOutPut 2> /dev/null
于 2020-01-17T10:15:28.413 回答
0

由于添加了包含来自 icl-over-slf4j.jar(导致标准输出消息)和 slf4j-log4j12.jar 的类的程序集 jar,因此发生此错误。

您可以先尝试几件事:

  1. 尝试删除组装罐,以防万一。

  2. 查看以下链接:https : //issues.apache.org/jira/browse/HIVE-12179 这表明我们可以在 Hive 中触发一个标志,其中仅当 HIVE_ADD_SPARK_ASSEMBLY =“true”时才加载 spark-assembly。

https://community.hortonworks.com/questions/34311/warning-message-in-hive-output-after-upgrading-to.html:虽然有一种解决方法是为了避免任何结束时间的变化,那就是手动删除使用 shell 脚本从文件末尾开始的 2 行。

于 2017-12-22T05:40:41.497 回答