问题标签 [debezium]

我目前对所有这些工具都是新手，请您多多包涵。

我正在尝试创建一个数据管道来将 MySQL DB 的更改推送到 Kafka Broker。我正在松散地尝试按照此处的教程进行操作。如果所有 docker 容器（直接从 debezium repos 下载）都位于本地机器内，我可以让系统运行。

但是，如果我将 MySQL、Kafka 和 Zookeeper docker 放在本地网络上的另一台机器上并尝试连接它，我会收到以下错误：

以下是我用来实现此目的的命令：

两台机器可以通过所涉及的所有端口相互通信（Zookeeper 为 2181，Kafka 为 9092，MySQL 为 3306）。

我也尝试过提供属性名称

并将主机属性修改为

两者都没有帮助。

据我了解，有一些属性可以将单个链接绑定到机器上的端口，但我找不到所述属性。请让我知道我哪里出了问题。

我已经使用Postgresql数据库设置了环境，使用了带有 Kafka Connect 和 Kafka 的debezium连接器。有多个 Kafka 实例（3）在运行，它配置了 Zookeeper（3）。整个管道中的连接都在工作，但是根据 Debezium 的文档，没有按照表中的表自动创建主题数据库。例如，如果是某个模式中的表 A 和表 B，我假设在 Kafka 中隐式创建了 2 个主题。连接器和任务的状态是RUNNING，下面提到的是我为连接器所做的配置，

我在连接日志中看到的错误是，

我正在使用 Debezium Mongo 源连接器。正如文档所述，“Kafka 主题的名称始终采用logicalName.databaseName.collectionName 的形式”。我遇到了一个问题，原始 mongo 集合名称包含无效的字符，无法用作主题名称。例如，“exampleofcollection@name”。这将使 mongo 源连接器在创建主题时失败。有没有办法绕过这个？谢谢！

我通过 Kafka 流式传输 mongo oplog 数据。我使用 Debezium CDC Kafka 连接器来跟踪 mongo oplog。

Schema 注册表使用 AvroConverter 转换器来序列化键和值

bootstrap.servers=localhost:9092

Kafka key.converter=io.confluent.connect.avro.AvroConverter key.converter.schema.registry.url= http://localhost:8081 value.converter=io.confluent.connect.avro.AvroConverter value.converter.schema。 registry.url= http://localhost:8081

internal.key.converter=org.apache.kafka.connect.json.JsonConverter internal.value.converter=org.apache.kafka.connect.json.JsonConverter internal.key.converter.schemas.enable=false internal.value.converter .schemas.enable=false

offset.storage.file.filename=/tmp/connect.offsets

下面的代码流式传输 Kafka 数据并使用KafkaAvroDeserializer对其进行反序列化

deserializedTopicMessageDS 数据集模式正在根据需要进行转换，但是流正在停止并显示以下信息，

我需要别人的帮助。

我按照教程使用 Kafka Connect 和 Debezium 将数据从 MySQL 流式传输到 Kafka，但是我在使用 Debezium MySQL 连接器将 MySql 连接到 Kafka 服务器时遇到了麻烦。

这是我的设置和其他信息。

操作系统：Windows 10。

卡夫卡连接：汇合 5.0。

MySQL 连接器：0.8.1 最终版。

我保存文件

.

我添加插件路径

当我尝试连接到 Kafka Connect 时，它返回了一个错误。“找不到任何实现连接器且名称与 io.debezium.connector.mysql.MySqlConnector 匹配的类”

我错过了什么吗？任何人都可以帮忙吗？

在玩 Spring Cloud Stream、Kafka、Debezium 和 Postgresql 时，我面临以下问题：突出显示：postgresql 中有一个表 person(id,name)，debezium 获取了更改事件并抛出到 Kafka topic(person)，已验证的消息在主题中，消息的形式为

在消费者方面，我使用的是 Spring Cloud Stream，Message 类看起来像这样

@EnableBinding(Processor.class) 公共类频道 {

}

主类看起来像这样

application.properties 看起来像这样：

通过@StreamListner 获取的有效负载为空，我怀疑这里的消息转换存在问题。

任何方向表示赞赏

堆栈跟踪 ：

连接器的任务状态因错误而失败：

我在分布式模式下运行 kafka 连接集群，并且我正在使用 ambari 部署的 kafka(0.10.0.2.5) 连接。

我使用 export CLASSPATH=/path to connector/ 给了 debezium mysql 连接器路径。

使用以下命令将连接器配置加载到 Kafka Connect 中：

现在检查连接器状态后，我收到错误：

我正在使用 PostgreSQL。在我的表中，数字列定义如下：

但是在 Kafka 中，我收到的不是十进制数字（例如 14.0），而是像“E4g =”这样的东西

版本：debezium/connect:0.7 kafka 0.11.0.0 zookeeper 3.4.9

有人知道如何解决这个问题吗？

如何配置 Debezium 以将数据库中的所有表发布到单个 Kafka 主题？

可能吗？

我是卡夫卡的初学者。在这里，我正在尝试在 kafka 中构建实时数据管道。我有位于远程的数据库。我真的不明白如何访问数据库和数据库像实时一样不断更新。我阅读了有关 debezium [ https://debezium.io/docs/tutorial/]的信息，但在整个教程中，他们没有显示任何从实时远程数据库中提取数据的示例。我有 MySQL 数据库。