问题标签 [tez]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hive - 带有 Tez 的 Hive2 给出执行错误
我将 Hive2 与 Tez 一起使用。当我运行查询时，它会给出执行错误，如下所示。
java.lang.IllegalArgumentException：无法从空字符串创建路径
hadoop - Hive 查询太慢且失败
我在 Hive txt 表中执行了“分组依据”查询
但它显示：
这似乎是一个超时错误。完整的 hadoop 作业日志在这里：job.log
我该如何解决这个问题？
更新了，我发现无法完成查询的原因是因为NodeManager已经死了，我将详细信息发布在Hadoop NodeManager exit without log的帖子中，请看一下。谢谢
hive - 在 Amazon EMR 上的 Hive MapReduce 中填充日志的 Parquet 警告
我在 Tez 上的 Hive 上存储为镶木地板的桌子上运行自定义 UDAF。我们的 Hive 作业在 YARN 上运行，全部设置在 Amazon EMR 中。但是，由于我们拥有的 Parquet 数据是使用旧版本的 Parquet (1.5) 生成的，我收到一条警告，该警告正在填满 YARN 日志并导致磁盘在作业完成之前用完空间。
这是警告：
PM 警告：org.apache.parquet.CorruptStatistics：忽略统计信息，因为 created_by 无法解析（请参阅 PARQUET-251）：parquet-mr 版本
它还打印堆栈轨迹。我一直试图使警告日志静音但无济于事。除了这个警告，我已经设法关闭了几乎所有类型的日志。我尝试使用此处概述的 AWS 配置修改几乎每个 Log4j 设置文件。
到目前为止我尝试过的事情：
我在tez-site.xml中设置了以下设置（以 JSON 格式编写它们，因为这是 AWS 对配置的要求）它在实际实例中当然是正确的 XML 格式。
/li>我在mapred-site.xml上有以下设置。这些设置有效地关闭了我的 YARN 日志中发生的所有日志记录，但有问题的警告除外。
/li>我在几乎所有其他log4j.properties文件中都有这些设置。我在之前的 AWS 链接中显示的列表中找到了这些设置。
/li>
老实说，在这一点上，我只想找到某种方法关闭日志并以某种方式运行工作。我读过类似的问题，例如这个链接 ，他们通过更改 log4j 设置来修复它，但这是针对 Spark 的，它似乎不适用于 Hive/Tez 和 Amazon。任何帮助表示赞赏。
mysql - 与 mysql 相比，需要更多时间从 hive 表中的 2.3 亿条记录中过滤
我正在使用hive表来执行 sql 之一以从 2.3 亿条记录中获取一些记录，但使用 map reduce 过程执行需要 300 秒，并mysql在不到 1 秒的时间内获取此信息。为什么hive要花更多的时间？
我正在使用带有引擎的Ambari集群。Tez我对将数据库移动到hadoop.
hive - 错误：使用 hive2 运行简单计数（*）时
我明白了
我已经hive-serde-2.1.1.jar从 intellij 添加。如果我运行select * from <table>它会给我结果，但如果我运行select count(*) from <table>我会得到上述错误。谁能帮我这个 ？
更新：我从 yarn-gui 得到这个堆栈跟踪
maven - 无法识别的 SSL 消息，明文连接节点，同时构建 apache tez
使用 maven 构建 apache tez 时出现错误。
错误：无法识别的 SSL 消息，明文连接节点无法执行目标 com.github.eirslett:frontend-maven-plugin:0.0.23:install-node-and-npm
hadoop - Apache Phoenix JAR 是否会导致 Tez 出错？
我已经尝试根据此处的文档在 Hive 中实现 Phoenix 存储处理程序，第一步涉及将 JAR 文件包含到 HIVE_AUX_JARS_PATH。
我将 phoenix-hive.jar 和 phoenix-client.jar 包含在路径中，并且成功创建了表。但是，自此实施以来，不相关的脚本已经开始失败，并出现以下错误：
[错误] [main] |app.DAGAppMaster|：启动 DAGAppMaster org.apache.hadoop.service.ServiceStateException 时出错：java.lang.NoSuchMethodError：org.apache.hadoop.http.HttpServer2.getWebAppContext()Lorg/mortbay/jetty/网络应用/网络应用上下文；在 org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:59) 在 org.apache.tez.dag.app.DAGAppMaster.startServices(DAGAppMaster.java:1737) 在 org.apache.tez.dag.app .DAGAppMaster.serviceStart(DAGAppMaster.java:1804) 在 org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 在 org.apache.tez.dag.app.DAGAppMaster$7.run(DAGAppMaster.java: 2379) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject. java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724) at org.apache.tez.dag.app.DAGAppMaster.initAndStartAppMaster(DAGAppMaster.java:2375) at org.apache.tez .dag.app.DAGAppMaster.main(DAGAppMaster.java:2179) 引起：java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpServer2.getWebAppContext()Lorg/mortbay/jetty/webapp/WebAppContext; 在 org.apache.hadoop.yarn.webapp.WebApps$Builder.build(WebApps.java:314) 在 org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:371) 在 org.apache .tez.dag.app.web.WebUIService.serviceStart(WebUIService.java:91) 在 org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 在 org.apache.tez.dag.app。
我们的支持团队认为这些 Phoenix JAR 是导致此问题的原因，并且已将这些 JAR 删除 - 这似乎已经解决了该问题。有人对这些事情的关系有什么建议吗？
非常感谢。
apache - 容器重用如何在 Apache Tez 中工作？重用共享位置中存储的数据是什么？
当 Apache tez 重用容器时，会发生什么过程。谁能给我解释清楚？
hive - 我们可以将自定义 DAG 计划强加于 TEZ 中生成的 DAG 计划吗？如果可能，如何？
我不想使用 Hive 中的 TEZ 生成的 DAG 计划，而是想使用我创建的自定义 DAG 计划。可能吗？如果是，谁能解释一下？
hadoop - 在 MapReduce 上运行但不在 Tez 上运行的 Pig 脚本
我使用的是 Pig(0.16.0) 版本，Tez 版本是 0.9.0。pig 脚本在 MapReduce 上运行良好，但在 Tez 上运行良好。我曾尝试更改 tez-0.8.(3-5) 仍然无法正常工作。这可能是版本不匹配的问题吗？请看一下日志：