apache-kafka - 如何使用 mirrormaker 反序列化 avro 消息？

Question

我想将 kafka 主题复制到 azure 事件中心。消息采用 avro 格式，并使用位于带有 USER_INFO 身份验证的模式注册表后面的模式。

使用 java 客户端连接到 kafka，我可以使用 KafkaAvroDeserializer 正确反序列化消息。

但是这种配置似乎不适用于mirrormaker。

是否可以在发送之前使用 mirrormaker 反序列化 avro 消息？

干杯

Answer 1

对于 MirrorMaker1，消费者反序列化器属性是硬编码的

除非您计划在生产者向 EventHub 发送数据时将数据重新序列化为不同的格式，否则您应该坚持使用默认的 ByteArrayDeserializer。

如果您确实想以任何方式操作消息，则需要使用MirrorMakerMessageHandler子类来完成

---

对于 MirrorMaker2，您可以使用AvroConverter后跟一些transforms属性，但对于一对一的字节复制，仍然首选 ByteArrayConverter。