0

我是一名 Java 开发人员,正在为 Apache Spark 编写(独立)应用程序。为了创建工件,我使用 Gradle 和 ShadowJar 插件。

有几个队友想用 Python。目前,他们使用 JetBrains PyCharm 编写这些 Python 脚本并在 Spark 集群环境中远程执行它们。但是,这个过程不能很好地扩展(如果涉及多个文件怎么办?),我正在寻找 Python 生态系统中的解决方案。问题是我和我的团队成员都不是 Python 专家(实际上其他团队成员都不是开发人员,但必须编写代码。管理决策......),所以我们不知道什么是Python 开发的最佳实践。

我尝试了 PyGradle,但感觉不能顺利集成,尤其是使用 Apache Spark。我被 Pip、Pex、Setuptools、VirtualEnv 之类的名字绊倒了。那些工具是什么?它们是如何相互干扰的?

为了防止 XY 问题:我想要一个可以使用一个命令(如 gradle build)构建、(单元)测试和打包的代码库。生成的工件应该能够在 Spark 集群上部署和执行。

4

1 回答 1

1

我也是这个世界的新手,想在 AI 启动中设置流程。我认为http://pybuilder.github.io/至少是自动化的良好起点,因为我正试图在我们中间进行设置。

于 2017-09-05T11:08:17.000 回答