我正在开发一个订阅主题、转换消息、将转换后的消息推回另一个主题的 Kafka-Connector。
到目前为止,我将它作为一个SinkTask
类来实现,每个任务都执行 ETL,实例化发布者对象,将消息写回另一个主题。
有没有更清洁的方法来实现它?我相信这是一个常见的用例,即连接器既是接收器也是源。
我正在开发一个订阅主题、转换消息、将转换后的消息推回另一个主题的 Kafka-Connector。
到目前为止,我将它作为一个SinkTask
类来实现,每个任务都执行 ETL,实例化发布者对象,将消息写回另一个主题。
有没有更清洁的方法来实现它?我相信这是一个常见的用例,即连接器既是接收器也是源。
这不是 Kafka Connect 的基本用例。如果您已经在使用 Kafka 0.10.x,那么新的Kafka Streams API就是专门为这类事情创建的。