2

我使用以下 hive-site.xml 属性配置了 Hive 并行性并重新启动了集群

物业 1

Name: hive.exec.parallel
Value: true
Description: Run hive jobs in parallel

属性 2

Name: hive.exec.parallel.thread.number
Value: 8 (default)
Description: Maximum number of hive jobs to run in parallel

为了测试并行性,我创建了以下 2 个条件:

1 . file.hql 中的单个查询并将其运行为hive -f file.hql

SELECT COL1, COL2 FROM TABLE1
UNION ALL
SELECT COL3, COL4 FROM TABLE2

结果:

当 hive.exec.parallel = true 时,所用时间:28.015 秒,总 MapReduce CPU 时间:3 秒 10 毫秒

当 hive.exec.parallel = false 时,耗时:24.778 秒,总 MapReduce CPU 耗时:3 秒 90 毫秒。

2 . 如下2个不同文件中的独立查询并将其运行为nohup hive -f file1.hql & nohup hive -f file2.hql

select count(1) from t1 -> file1.sql
select count(1) from t2 -> file2.sql

结果:

当 hive.exec.parallel = false 时,耗时:29.391 秒,总 MapReduce CPU 耗时:1 秒 890 毫秒

问题:

如何检查上述 2 个条件是否确实并行运行?在控制台中,我看到的结果好像查询是按顺序运行的。

为什么 hive.exec.parallel = true 花费的时间更多?我怎样才能看到使用了 hive 多个阶段?

谢谢,

4

1 回答 1

2

当 Hive 执行引擎为 MR ( hive.execution.engine=mr) 时,Hive 将查询表示为一个或多个 Map-Reduce 作业,如果可能,这些作业(每个都包含 Map 和 reduce)可以并行执行。例如这个查询:

SELECT COL1, COL2 FROM TABLE1
UNION
SELECT COL3, COL4 FROM TABLE2

可以作为 3 个作业执行:1 - 从 table1 中选择,2-选择 table2,3-UNION(不同)

前两个作业可以并行执行,第三个作业可以在第一个和第二个完成后执行。

更复杂的查询可以执行许多 MR 作业和这些参数:

hive.exec.parallelhive.exec.parallel.thread.number允许为在 MR 上运行的单个查询并行执行作业。

您可以在 Job Tracker 上检查作业,URL 会在执行期间打印在日志中。您可以在日志中看到一些作业已启动以及它们的执行进度。

如果在 Tez 执行引擎( hive.execution.engine=Tez) 上运行,Hive 将查询表示为单个优化的 DAG,省略了不必要的步骤,例如将中间结果写入持久存储并使用 mapper 再次读取它们。DAG 中所有可以并行执行的顶点都在并行执行。在 Tez 上运行时,相同的设置不起作用。它总是在 Tez 上并行运行。相同的查询将表示为 2 个映射器顶点(并行运行)和最后运行的减速器。最后一个 reducer 也可以在 mappers 几乎完成时提前启动。

设置hive.exec.parallel并且hive.exec.parallel.thread.number不影响 Tez 上查询的并行性,它们也不适用于单个脚本中的两个单独的查询。

单个脚本中的两个单独的查询一个接一个地运行,而不是并行的(每个都有自己的任务并行性)

上一个示例中的两个配置单元会话并行运行(取决于可用的集群资源)

可以使用timeUnix 命令测量时间差异。Hive 报告的时间是集群时间。如果集群没有可用资源,并行任务可以等待资源。使用 Job tracker 检查执行期间究竟发生了什么。

所以,实际上有不同种类的并行。

MR 上的单查询作业并行性- 您要求的参数适用于这种类型。

Hive 会话并行运行- 这些参数不会影响它。

Tez 顶点并行度- 这些参数不影响它

并行执行同一个顶点实例(mapper或reducer,每个都可以启动多个)——它们是并行运行的——这些参数不影响它

于 2021-01-04T16:09:38.773 回答