palantir-foundry - Foundry 中是否有可以自动填充列描述的工具？如果是这样，它叫什么？

Question

我们正在寻找在 Foundry 平台中是否有一个工具可以让我们拥有一个字段描述列表，并且当数据集构建时，它可以自动填充这些描述。这是否存在，如果存在，该工具叫什么？

Answer 1

如果您将代码存储库升级到版本 1.184.0+，则从此时开始，该版本已发布并可用。

您用来推送输出列描述的方法是为您提供一个新的可选参数TransformOutput.write_dataframe()，即column_descriptions.

这个参数应该是dict带有列名的键和列描述的值（出于稳定性原因，长度最多为 200 个字符）。

该代码将自动计算您提供的列名pyspark.sql.DataFrame和您提供的键的交集dict，因此它不会尝试对不存在的列进行描述。

您用于运行此过程的代码如下所示：

from transforms.api import transform, Input, Output


@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
)
def my_compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions={
            "col_1": "col 1 description"
        }
    )