scala - Apache Flink 中的流式预测

Question

是否可以使用已经批量训练的模型对 Apache Flink 中的数据流进行预测？

来自 svm 的 predict 函数需要一个数据集作为输入，并且不需要数据流。

不幸的是，我无法弄清楚如何使它与 flatpMap/map 函数一起使用。

我以这种方式训练了我的 SVM 模型：

val svm2 = SVM()
svm2.setSeed(1)
svm2.fit(trainLV)
val testVD = testLV.map(lv => (lv.vector, lv.label))
val evalSet = svm2.evaluate(testVD)

并保存模型： val modelSvm = svm2.weightsOption.get

然后我在流环境中有一个传入的数据流：
dataStream[(Int, Int, Int)]
应该使用 svm 模型进行二进制分类。

谢谢！

Answer 1

Flink 的 ML 库目前只支持批处理。如果您想使用DataStreamAPI 进行预测，则需要实现自己的flatMap/map函数，该函数采用模型并将其应用于传入事件。