问题标签 [palantir-foundry]

如何获取 Code Workbook 中所有模块、用户、模式、作业类型以及有关 spark 模块的详细信息（执行器数量、内存等）的视图？

在 Contour 中，您可以通过单击顶部的“版本”按钮访问旧交易。

如何在代码工作簿中执行此操作？

我有一个包含 53 个类别的 x 轴图表，并且轴标签没有显示，因为它们太浓缩了。

有没有办法让图表滚动以便我的所有类别都适合？

我有一个查询，我只希望它在我点击一个按钮时运行，而不是之前。

我该如何控制？

Foundry Contour 表和列编辑器可以轻松解析包含年、月和日的某种组合作为日期的字符串，但我无法弄清楚如何将表示 Unix 时间戳的 Long 转换为日期.

有什么我错过的技巧吗？我已经尝试过CAST(utc_column AS date)，这会导致错误，并且我已经探索过“解析日期”，但似乎只有包含年、月和日的某种组合的字符串才有效。

我有几个相当长且复杂的函数，我想调试它们。是否有任何内置调试功能可以帮助我调试复杂的功能？

如何在不更改转换存储库中的语义版本的情况下强制特定数据集以非增量方式构建？

有关我们特定用例的详细信息：

我们有大约 50 个数据集，由单个增量 python 通过手动注册和 for 循环定义。此转换的输入可以是 100 到 10000 个小 gzip 文件，因此当运行较大的数据集时，它最终会将所有这些分区为少数几个大小合适的 parquet 文件，这对于我们的下游工作来说是完美的。但是，在此作业已增量运行数月后（文件每小时到达），输出中还会有大量小型 parquet 文件。我们希望能够强制对单个数据集进行快照构建，而不必改变转换的语义版本，这将触发所有 50 个数据集的快照构建。这可能吗？

我了解一种潜在的解决方法可能是在转换本身中定义“最大输出文件”，读取现有输出中的当前文件数，并在当前超过最大值时强制执行快照。然而，由于这个管道是时间敏感的（需要在一个小时内运行），这会给管道带来一定程度的不可预测性，因为快照构建需要更长的时间。我们希望能够将这些完整的快照构建设置为每月在周末运行一次。

最近，数据连接摄取运行了 6 小时（与 30 分钟的典型摄取时间相比）没有取得任何进展。这导致源数据库服务器停止运行，因此我们需要终止摄取进程。

如果运行时间过长，有没有办法自动中止摄取，这样如果这个作业再次挂起，它就不会导致同样的问题？

有没有办法将具有 4 位数年份值的列转换为 DATE 类型并让它在 Foundry 中显示？

现在，我正在处理一个名为的列year，其中包含以下值：1999, 2001, 2010并且它的类型是字符串。

当我编写代码将其转换为日期时，它会将 4 位数年份转换为 10 位数年份、月份和日期，如下所示2010-01-01。

这是我尝试过的一些代码：

1. df = df.withColumn('year_mfr', F.trunc(df.year_mfr, 'yyyy'))
2. df = df.withColumn('year_mfr', F.to_date(df.year_mfr, 'yyyy'))

我正在使用 Blobster API 从 Foundry Code Repositories 或 Foundry Code Workbooks 中的（例如）Python 转换中获取文件。

实现这一目标的最佳方法是什么？