我们想安装Spark-Alchemy以在铸造厂的 Pyspark 中使用它（我们想使用他们的 hyperloglog 功能）。虽然我知道如何安装 pip 包，但我不确定安装这种包需要什么。
任何与使用 pyspark 的 hyperloglog 相关的帮助或替代解决方案将不胜感激，谢谢！
2 回答
1
Foundry 中的 PySpark Transform 存储库连接到 conda。您可以使用coda_recipe/meta.yml将包拉到您的转换中。如果您想要的套餐在您的频道中不可用，我建议您联系您的管理员询问是否可以添加它。添加扩展 spark 的自定义 jar 需要由您的平台管理员进行审查，因为它可能会带来安全风险。
我做了一个$ conda search spark-alchemy并且找不到任何相关的内容，并通过这些说明阅读https://github.com/swoop-inc/spark-alchemy/wiki/Spark-HyperLogLog-Functions#python-interoperability它让我猜测没有t 可用的 conda 包。
于 2020-10-07T06:55:49.603 回答
0
我无法评论这个特定库的使用，但总的来说，Foundry 支持 Conda 通道，如果你有一个 Conda 存储库并将 Foundry 配置为连接到该通道，你可以添加这个库或其他库并在你的代码中引用它们。
于 2020-10-04T18:25:59.430 回答