0

我的问题是关于使用副本的 Kafka 检查点，例如，在 Kafka 生产者异步模式下，副本移动到 1 到 100 个操作，假设 kakfka 处理了 80 个操作，在 81 时 Kafka 停机了一个小时。Kafka 启动后，replicat 必须从第 81 次操作重新定位。Kafka 处理程序是如何发生的，因为我在 GG 大数据适配器 Oracle 网站的任何地方都没有看到任何检查点和比较逻辑。从第 81 次操作开始重新启动副本和适配器的保证是什么。

4

1 回答 1

0

检查点由 Goldengate 复制进程与 Kafka 适配器/处理程序一起处理。Goldengate 安装目录的一部分有存储与提取或复制进程相关的文件的子目录，其中一个目录是 dirchk。

 dirchk:

Contains the checkpoint files created by Extract and Replicat processes,which store current read and write positions to support data accuracy and fault tolerance. Written in internal Oracle GoldenGate format.

    File name format is group_name+sequence_number.ext where sequence_number is a sequential number appended to aged files and ext is either cpe for Extract checkpoint files or cpr for Replicat checkpoint files.

            Do not edit these files.

            Examples:

            ext1.cpe

            rep1.cpr

您可以从此链接部分 A.2 了解 Goldengate 中的子目录

https://docs.oracle.com/goldengate/1212/gg-winux/GIMSS/installed_components.htm#GIMSS2361

从链接https://docs.oracle.com/goldengate/1212/gg-winux/GWURF/ggsci_commands.htm#GWURF884浏览 Goldengate 相关命令或 ggsci 命令

从上面的链接第 1.1.3 节与复制相关。一些重要的复制命令是信息复制，滞后复制，同步复制

阅读第 10.2 节 Kafka 处理程序功能，其中解释了检查点

https://docs.oracle.com/goldengate/bd123210/gg-bd/GADBD/using-kafka-handler.htm#GADBD460

罗宾·莫法特（Robin Moffatt）对 Goldengate kafka 处理程序进行故障排除 :-)

https://www.rittmanmead.com/blog/2016/09/using-logdump-to-debug-oracle-goldengate-and-kafka/

于 2018-11-17T08:11:45.050 回答