1

python和pyspark的新手。

我已经使用python的请求包通过'get'方法从具有REST API的应用程序中检索数据,该方法提供json数据的响应,然后将其读入pandas数据帧。

我现在正在尝试使用 Pyspark 迁移 Spark 的代码。

想知道是否有任何替代 python 请求包的火花。

或者任何必须遵循的方式。

我仍然可以使用现有的 python 代码并将捕获数据的 pandas 数据帧更改为 pyspark 数据帧,但我相信这不会有效。

需要一些关于如何在 Pyspark 中使用应用程序的 rest api 的建议。

谢谢您的帮助!

4

0 回答 0