在一个非常高的层次上，我将提供一个多租户平台界面，以允许用户创建“项目”——为各种生产者类型转换为 Kafka 主题——RSS 提要、SQL Server 查询和文件位置。
例如，要检索 RSS 数据，我相信我们需要创建 Kafka 作品以按计划获取 RSS 数据 - 因此需要动态添加新的多线程工作人员（或工作人员） - 而不是通过配置文件。
应用程序抽象层将用户与 Kafka 和 ElasticSearch 分开。我不能允许所有用户通过控制中心进行访问。
在我可能提供某种类型的托管服务的另一个用例中，我可以使用 CC。
鉴于这种用途，我想了解一些有关实现此目的的适当方法的详细信息——因为似乎仍然存在一些差距——即我们不能使用配置文件，因为需要动态创建主题。
如何使用 Kafka 和 Java 以编程方式/动态创建数据管道和工作程序？