1

我正在使用 Spring Cloud Stream 开发 Kafka Streams。在消息处理应用程序中，可能会产生错误。因此，不应再次提交并重试该消息。

我的申请方法——

@Bean
public Function<KStream<Object, String>, KStream<String, Long>> process() {
return (input) -> {
KStream<Object, String> kt = input.flatMapValues(v -> Arrays.asList(v.toUpperCase().split("\\W+")));
KGroupedStream<String, String> kgt =kt.map((k, v) -> new KeyValue<>(v, v)).groupByKey(Grouped.with(Serdes.String(), Serdes.String()));
KTable<Windowed<String>, Long> ktable = kgt.windowedBy(TimeWindows.of(500)).count();
KStream<String, WordCount> kst =ktable.toStream().map((k,v) -> {
WordCount wc = new WordCount();
wc.setWord(k.key());
wc.setCount(v);
wc.setStart(new Date(k.window().start()));
wc.setEnd(new Date(k.window().end()));

dao.insert(wc);

return new KeyValue<>(k.key(),wc);
});
return kst.map((k,v) -> new KeyValue<>(k, v.getCount()));
};
}

这里如果DAO插入方法失败，消息不应该发布到输出主题，并且应该重试相同消息的处理。

我们如何配置 kafka 流绑定器来做到这一点？非常感谢您对此的任何帮助。

4

1 回答 1

2

Spring Cloud Stream Kafka Streams binder 本身在执行业务逻辑时不提供这种重试机制。但是，解决此用例的一种方法可能是将您的关键调用（dao.insert()在这种情况下）包装在RetryTemplate您在本地定义的 a 中。这是一个可能的实现，它使用 1 秒的退避策略重试 10 次。如果您正在尝试此解决方案，请确保从您的主要业务逻辑中提取与 RetryTemplate 相关的公共代码。我还没有尝试过，但它应该可以工作。 

KStream<String, WordCount> kst =ktable.toStream().map((k,v) -> {
  WordCount wc = new WordCount();
  ...

  org.springframework.retry.support.RetryTemplate retryTemplate = new 
   RetryTemplate();

  RetryPolicy retryPolicy = new SimpleRetryPolicy(10);
  FixedBackOffPolicy backOffPolicy = new FixedBackOffPolicy();
  backOffPolicy.setBackOffPeriod(1000);

  retryTemplate.setBackOffPolicy(backOffPolicy);
  retryTemplate.setRetryPolicy(retryPolicy);

  retryTemplate.execute(context -> {
    try {
      dao.insert(wc);
    }
    catch (Exception e) {
      throw new IllegalStateException(..);
   }
  });

  return new KeyValue<>(k.key(),wc);
});

重试 dao insert 操作 10 次后的事件，如果仍然失败，则抛出异常终止应用程序，此时不会提交偏移量。在重新启动时，在修复了基础问题后，您的应用程序仍应从此偏移量继续。

于 2020-06-03T18:51:30.533 回答