pyspark - 如何创建 python 库以及如何在 palantir Foundry 中导入它

Question

为了概括 python 函数，我想将函数添加到 python 库中，以便我可以在多个存储库中使用这些函数。请任何人回答以下问题。

1) 如何创建我们自己的 python 库 2) 如何跨多个存储库导入这些库

Answer 1

1. 如何在 Palantir Foundry 中创建 python 库？

要创建新库，您可以通过创建新存储库来实现。当提示初始化存储库时，您应该有一个选项，内容如下：

Python Library
Template for publishing a Python library package. Consuming new libraries has changed,
please read README in library repository.

自述文件将包含有关如何发布库的说明。建议您了解 conda 发布渠道如何为此工作。

注意，避免_在库名称中使用，因为它可能会导致问题。-虽然可以安全使用。

---

2. 如何在代码创作中导入库？

一旦您的库发布，您可以将其添加到您想要使用该库的存储库的 conda 配方中。您可以在以下位置找到它：transforms-python/conda_recipe/meta.yaml

之后只需将其添加到列表中

requirements:
  run:
    - python
    - pandas
    - your-library-name

Answer 2

除了 fmsf 的回答，在第二步中，您可能必须将以下内容添加到您的 transforms-python 目录的 build.gradle 中：

transformsPython { 
    sharedChannels "libs" 
}