pyspark - 有没有类似的方法可以在pyspark中复制熊猫的“qcut”功能？

Question

我想在 pyspark 中对预测概率和真实标签进行 KS 测试。链接中的pandas中也做过类似的工作：https ://www.listendata.com/2019/07/KS-Statistics-Python.html

Answer 1

不，没有直接的方法。你必须应用窗口函数等。当我需要这个时，我总是转换为 pandas :-) 或者当我在 Databricks 类型环境中工作时，我利用 spark sql。我发现这些比窗口方法更容易。