问题标签 [debezium]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
881 浏览

docker - 无法通过 docker 连接到外部服务器上的 Zookeeper

我目前对所有这些工具都是新手,请您多多包涵。

我正在尝试创建一个数据管道来将 MySQL DB 的更改推送到 Kafka Broker。我正在松散地尝试按照此处的教程进行操作。如果所有 docker 容器(直接从 debezium repos 下载)都位于本地机器内,我可以让系统运行。

但是,如果我将 MySQL、Kafka 和 Zookeeper docker 放在本地网络上的另一台机器上并尝试连接它,我会收到以下错误:

以下是我用来实现此目的的命令:

两台机器可以通过所涉及的所有端口相互通信(Zookeeper 为 2181,Kafka 为 9092,MySQL 为 3306)。

我也尝试过提供属性名称

并将主机属性修改为

两者都没有帮助。

据我了解,有一些属性可以将单个链接绑定到机器上的端口,但我找不到所述属性。请让我知道我哪里出了问题。

0 投票
1 回答
1625 浏览

postgresql - Kafka 与 Debezium 连接

我已经使用Postgresql数据库设置了环境,使用了带有 Kafka Connect 和 Kafka 的有多个 Kafka 实例(3)在运行,它配置了 Zookeeper(3)。整个管道中的连接都在工作,但是根据 Debezium 的文档,没有按照表中的表自动创建主题数据库。例如,如果是某个模式中的表 A 和表 B,我假设在 Kafka 中隐式创建了 2 个主题。连接器和任务的状态是RUNNING,下面提到的是我为连接器所做的配置,

我在连接日志中看到的错误是,

0 投票
1 回答
321 浏览

mongodb - Debezium mongo 源连接器:使用具有无效字符的名称创建的主题

我正在使用 Debezium Mongo 源连接器。正如文档所述,“Kafka 主题的名称始终采用logicalName.databaseName.collectionName 的形式”。我遇到了一个问题,原始 mongo 集合名称包含无效的字符,无法用作主题名称。例如,“exampleofcollection@name”。这将使 mongo 源连接器在创建主题时失败。有没有办法绕过这个?谢谢!

0 投票
0 回答
621 浏览

apache-spark - 无法流式传输来自 Kafka Debezium 连接器的 avro 格式数据

我通过 Kafka 流式传输 mongo oplog 数据。我使用 Debezium CDC Kafka 连接器来跟踪 mongo oplog。

Schema 注册表使用 AvroConverter 转换器来序列化键和值

bootstrap.servers=localhost:9092

Kafka key.converter=io.confluent.connect.avro.AvroConverter key.converter.schema.registry.url= http://localhost:8081 value.converter=io.confluent.connect.avro.AvroConverter value.converter.schema。 registry.url= http://localhost:8081

internal.key.converter=org.apache.kafka.connect.json.JsonConverter internal.value.converter=org.apache.kafka.connect.json.JsonConverter internal.key.converter.schemas.enable=false internal.value.converter .schemas.enable=false

offset.storage.file.filename=/tmp/connect.offsets

下面的代码流式传输 Kafka 数据并使用KafkaAvroDeserializer对其进行反序列化

deserializedTopicMessageDS 数据集模式正在根据需要进行转换,但是流正在停止并显示以下信息,

0 投票
2 回答
2067 浏览

apache-kafka - Kafka Connect 添加 MySqlConnector 失败

我需要别人的帮助。

我按照教程使用 Kafka Connect 和 Debezium 将数据从 MySQL 流式传输到 Kafka,但是我在使用 Debezium MySQL 连接器将 MySql 连接到 Kafka 服务器时遇到了麻烦。

这是我的设置和其他信息。

操作系统:Windows 10。

卡夫卡连接:汇合 5.0

MySQL 连接器:0.8.1 最终版。

我保存文件

这里.

我添加插件路径

图片1

图二

当我尝试连接到 Kafka Connect 时,它返回了一个错误。“找不到任何实现连接器且名称与 io.debezium.connector.mysql.MySqlConnector 匹配的类”

错误 1

错误 2

我错过了什么吗?任何人都可以帮忙吗?

0 投票
0 回答
730 浏览

spring - Spring Cloud Stream 消息处理

在玩 Spring Cloud Stream、Kafka、Debezium 和 Postgresql 时,我面临以下问题:突出显示:postgresql 中有一个表 person(id,name),debezium 获取了更改事件并抛出到 Kafka topic(person),已验证的消息在主题中,消息的形式为

在消费者方面,我使用的是 Spring Cloud Stream,Message 类看起来像这样

@EnableBinding(Processor.class) 公共类频道 {

}

主类看起来像这样

application.properties 看起来像这样:

通过@StreamListner 获取的有效负载为空,我怀疑这里的消息转换存在问题。

任何方向表示赞赏

堆栈跟踪 :

0 投票
1 回答
1043 浏览

java - 连接器任务状态连接失败

连接器的任务状态因错误而失败:

我在分布式模式下运行 kafka 连接集群,并且我正在使用 ambari 部署的 kafka(0.10.0.2.5) 连接。

我使用 export CLASSPATH=/path to connector/ 给了 debezium mysql 连接器路径。

使用以下命令将连接器配置加载到 Kafka Connect 中:

现在检查连接器状态后,我收到错误:

0 投票
1 回答
796 浏览

postgresql - Debezium Kafka 连接。十进制架构错误

我正在使用 PostgreSQL。在我的表中,数字列定义如下:

但是在 Kafka 中,我收到的不是十进制数字(例如 14.0),而是像“E4g =”这样的东西

版本:debezium/connect:0.7 kafka 0.11.0.0 zookeeper 3.4.9

有人知道如何解决这个问题吗?

0 投票
1 回答
2063 浏览

mysql - 使用 Debezium 将所有数据库表捕获到一个 Kafka 主题

如何配置 Debezium 以将数据库中的所有表发布到单个 Kafka 主题?

可能吗?

0 投票
1 回答
626 浏览

mysql - 如何访问 Apache Kafka 中的远程数据库?

我是卡夫卡的初学者。在这里,我正在尝试在 kafka 中构建实时数据管道。我有位于远程的数据库。我真的不明白如何访问数据库和数据库像实时一样不断更新。我阅读了有关 debezium [ https://debezium.io/docs/tutorial/]的信息,但在整个教程中,他们没有显示任何从实时远程数据库中提取数据的示例。我有 MySQL 数据库。