1

我使用以下技术的以下版本安装了 Apache kylin：-

Apache Hadoop: - 2.7.3 
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6

我可以使用sample.sh随设置提供的文件在 Apache Kylin 中加载数据。但是，当我尝试在某个时间范围内构建多维数据集时，在“构建多维数据集”过程的第 3 步中出现以下错误

File does not exist: 
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar

其中hduser是启动 kylin 并尝试构建立方体的用户。

我检查了目录结构，发现app/hadoop/tmp/mapred/staging/hduser341814501/.staging folder.

kylin 是否尝试创建此目录结构并放入hive-exec-2.1.0.jar该目录结构并且由于某些权限问题而无法这样做？

还是因为其他错误而出现？

虽然，麒麟正在寻找的罐子存在于hdfs://localhost:54310/usr/local//hivr/lib folder. 麒麟是否也有可能在错误的位置寻找罐子？

谁能帮我解决我做错了什么？

4

2 回答 2

0

Kylin 会从 classpath 中寻找 hive jars，然后在提交 MR 作业时使用“tmpjars”属性指定它。请检查您的环境：

1）运行$KYLIN_HOME/bin/find-hive-dependency.sh，检查输出；

2) 在 $KYLIN_HOME/logs/kylin.log 中搜索“Hive Dependencies After Filtered”，它应该记录提交到 Hadoop 作业的依赖 jar，例如：

logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO  [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar

还要检查 jars 是否存在于 Kylin 运行的机器上。

于 2017-03-08T04:55:59.093 回答
0

我猜你是在一个独立的主机上运行 Kylin，你还部署了你的 hadoop & hive & hbase？如果是这样，您是否启动了纱线和历史服务器？cd在启动 Kylin 之前尝试$HADOOP_HOME运行和运行./sbin/start-yarn.sh。./sbin/mr-jobhistory-daemon.sh start historyserver

于 2018-07-23T08:48:09.950 回答