dataset - 融合表中的索引顺序中断 Foundry 数据集

Question

我从 Fusion 表中创建了 Palantir Foundry 数据集。但是行与 Fusion 表的顺序不正确。正确的方法是什么？

融合表数据

从 Fusion 工作表创建的数据集

Answer 1

Spark 不保留任何顺序，Fusion 在导出到数据集时不会尝试保留行顺序。通常，不应依赖 Foundry 数据集中的行顺序。您可以通过添加索引列来解决此问题。

以前的编辑：

我已经对此进行了测试，并且同步在没有任何特定配置的情况下正确地保持了输出数据集的顺序。在挖掘了更多之后，我似乎很幸运。