2

我可以pytest通过手动提供列名和值来创建数据框并将其传递给生产代码以检查 palantir Foundry 代码存储库中所有转换后的字段值来编写函数。

我不想手动传递列名及其各自的值，而是将所有必需的数据存储在数据集中，并将该数据集导入pytest函数以获取所有必需的值并传递给生产代码以检查所有转换后的字段值。

无论如何都要接受数据集作为planatir代码存储库中测试函数的输入。

4

1 回答 1

0

在运行测试时，您无法从数据集中读取。但是，也许您可​​以创建测试数据集，将其保存为 CSV，然后在测试中使用测试的 spark 会话读取 CSV。代码就像spark.read.csv("path").

这将增加文件 I/O 时间并减慢您的测试速度，因此我的建议是使用已经在内存中的测试数据创建数据帧。代码是spark.createDataFrame(data).

于 2021-02-26T21:32:21.787 回答