5
4

2 回答 2

4

对于效率较低的基于查询的 CDC，您可以使用JDBC 源连接器。

对于基于日志的 CDC，我知道有几个选项，但是其中一些需要许可证：

1) Attunity Replicate，允许用户使用图形界面创建从生产者系统到 Apache Kafka 的实时数据管道，而无需进行任何手动编码或编写脚本。几年来，我一直在使用 Attunity Replicate for Oracle -> Kafka，并且非常满意。

2)需要许可证的Oracle GoldenGate

3) Oracle Log Miner，不需要任何许可证，由 Attunity 和kafka-connect-oracle 使用，kafka-connect-oracle是一个 Kafka 源连接器，用于从 Oracle 捕获所有基于行的 DML 更改并将这些更改流式传输到 Kafka。更改数据捕获逻辑基于 Oracle LogMiner 解决方案。

于 2019-06-27T08:46:06.547 回答
1

我们有许多客户使用 IBM 的 IIDR（信息领域数据复制）产品将数据从 Oracle 数据库（以及 Z 大型机、I 系列、SQL Server 等）复制到 Kafka。

无论使用哪种来源，都可以将数据标准化为 Kafka 中的多种格式之一。包含的可选格式的示例是...

https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.cdckafka.doc/tasks/kcopauditavrosinglerow.html

该解决方案具有高度可扩展性，并且经过测量可以将更改复制到每秒 100,000 行中。

我们还拥有将并行写入 Kafka 的数据重组回其原始源顺序的专有能力。因此，尽管数据已写入大量分区和主题，但可以知道原始总顺序。此功能称为 TCC（事务一致性消费者）。

在此处查看视频和幻灯片... https://kafka-summit.org/sessions/exactly-once-replication-database-kafka-cloud/

于 2019-07-03T15:35:37.657 回答