我将构建流处理系统。使用 Kafka 进行消息传输。流处理可以通过风暴三叉戟、风暴或火花流来完成。但找不到最佳答案。
如果一开始的条件,流处理将很简单。字段可以在不同的元组内,这就是我需要存储前一个字段的原因。现在我通过使用storm + redis(不是三叉戟)实现了这个场景。在 bolt 内部,从 redis 中获取所有字段,然后通过 if 条件进行测量。如果字段不为空,则使用,如果为空,则继续工作。如果这是正确的,我对建筑有不好的感觉。
我应该使用 trident api 还是 spark 流式传输?
我不需要“恰好一次”的交货保证。只需要每个数据源的状态。此状态将按字段计算。
谢谢您的回复。