问题标签 [tpc]

是否有人在2020 年为使用 Hadoop 3.x+ 的 Azure 交互式查询 HDI 4.0 集群提供了有效且经过测试的 TPC-DS 或 TPC-H 基准？

我使用的是https://github.com/hortonworks/hive-testbench，但在尝试为 TPC-H 和 TPC-DS 生成数据时遇到了错误。

交互式查询 HDI 4.0 (Hadoop 3.1.1)。这个错误可能是什么？失败的步骤是它运行 jar 文件时。

然后第二个问题是，对于 TPC-DS，每当我运行“大”比例因子时，优化步骤都会出现故障。它通常在表 17 或 18 上失败。关于这可能是什么的任何想法？

我安装了 TPC-H 基准测试。我可以在浏览器中运行这个命令，它工作正常：

但如果我从 Linux CLI 运行它，它就永远不会返回。

如果我将其修改为更小，它将在 CLI 中工作：

那返回就好了。然后我可以继续：

历史视图显示服务器获得了“限制 1000”的查询，并正确处理了它。它在合理的时间内运行，历史视图显示了正确的 1,000 行。

我可以用其他表和查询重现这一点。这似乎是客户端的大量数据问题。但是返回 1,000 行应该是微不足道的。我希望它会返回更多。

我需要为我的 TPC 表单中的所有控件提供占位符。我想知道是否有办法这样做。我曾尝试在模板中放置占位符，例如：

并通过脚本

这些都不起作用。让我知道这是否是询问 TPC 相关问题的正确论坛 TIA

我正在尝试使用 macOS 从 TPC-E 基准测试生成数据：

使用以下命令时：

我得到：

我按照此处提供的说明如何使用 gcc 4.8（或更高版本）安装 TPC-E EGen？，但我仍然有同样的错误。

我正在尝试在 Databricks 上生成 SF300 和 SF1000 TPCH 数据。但是，我的脚本现在已经运行了超过 24 小时，我猜我做错了什么。

我按照以下说明进行操作：https ://github.com/databricks/spark-sql-perf 。然后我使用他们存储库中的笔记本（tpcds_datagen.scala）来生成数据。当然，我修改了参数，将TPC-DS改为TPC-H。但它非常慢。

有人可以建议一种更快的方法并帮助我吗？提前致谢。

对于基于 Postgres 构建的项目，我想检查系统的可扩展性。是否有适合它的标准数据库基准？我已经通过了 YCSB，但无法让它与 Postgres 一起使用。TPC 基准测试并没有真正挑战可扩展性。我对可扩展性的定义主要基于查询的不同数量，而不是查询的速率或数据库的大小。

我正在为 Amazon Athena 使用 TPC-DS。

在查询 5 之前一直很好。

我在查询 6 上遇到了一些问题。（如下所示）

它花了超过 30 分钟，所以它因超时而失败。

我试图找出导致问题的部分，所以我检查了 where 条件，并找到了 where 条件 where j.i_category = i.i_category的最后一部分。

我不知道为什么需要这个条件，所以我删除了这部分并且查询运行正常。

你们能告诉我为什么需要这部分吗？

所以我已经生成了 TPC-H 数据。现在我试图在数据库上运行它的查询，但我不知道是否应该使用一些特定的值，或者我应该以某种方式生成它们。

例如，让我们考虑

在这里，我不明白:x :o :n-1值是什么。当我尝试运行此代码时，我被要求输入每个值的值，但我不知道我应该输入什么。或者我应该输入 a90而不是':1'例如？

我正在尝试在甲骨文中做到这一点。

我正在尝试在 MySQL 服务器中运行 TPC-H 查询。目前，我使用的是 8.0.23 版本（当我以某种方式使用 8.0.19 时没有出现错误）。TPC-H 的基准大小为 10 GB。

当我使用 8 个线程同时提交多个查询时，我收到此错误（1114 错误，表 /tmp/#sql~~~ 已满）。有可能使用不同的线程同时提交相同或相似的查询。

但是，当我只在 MySQL shell 中提交一个查询时，它会返回一个没有错误的结果。

这是查询（还有其他查询会引发相同的错误。）

我检查了这个线程， 执行 sql 文件时出错（ERROR 1114 mysql table is full）

但是，它没有帮助。这是我从上面的链接中检查的列表。

1. 我有足够的磁盘空间。
2. 我增加了 max_heap_table_size 和 tmp_table_size 的大小，如下所示。
3. 我重新启动了 MySQL 服务器。
4. innodb_data_file_path 设置为自动扩展。所以，我希望它会自动扩展。

我还检查了我的 tmpdir 是否设置正确并且有足够的磁盘空间。

这是我的 MySQL 配置。

任何建议将不胜感激。谢谢阅读。

有人可以同时使用聚合和 groupby 函数来帮助我处理 pyspark 吗？我已经制作了我的数据框，并应用了过滤器和选择来获取我想要的数据。但是，我现在被困在试图正确聚合事物。

目前，我的代码输出以下内容：

我希望通过以下方式应用一个组：l_orderkey 并将 Rev 聚合为一个总和。

这是我最近的尝试，'t' 是数据框，F 是 pyspark.sql 中的函数"from pyspark.sql import functions as F"

有人可以帮助我知道我是否走在正确的轨道上吗？我不断收到“列不可迭代”