python和pyspark的新手。
我已经使用python的请求包通过'get'方法从具有REST API的应用程序中检索数据,该方法提供json数据的响应,然后将其读入pandas数据帧。
我现在正在尝试使用 Pyspark 迁移 Spark 的代码。
想知道是否有任何替代 python 请求包的火花。
或者任何必须遵循的方式。
我仍然可以使用现有的 python 代码并将捕获数据的 pandas 数据帧更改为 pyspark 数据帧,但我相信这不会有效。
需要一些关于如何在 Pyspark 中使用应用程序的 rest api 的建议。
谢谢您的帮助!