问题标签 [aws-msk]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
2680 浏览

java - AWS Kafka (MSK) - 如何生成 Keystore 和 truststore 并在我的 Spring Cloud Stream 应用程序中使用它们?

是否有任何关于如何在 Spring Cloud Stream 应用程序中使用 AWS MSK 详细信息的信息?

我相信我们需要生成一个密钥库和信任库,然后将它们合并到我们的应用程序中?我浏览了 AWS MSK 的“客户端身份验证”页面,发现这非常令人困惑。

任何人都可以帮我解决这个问题吗?我只是想部署这个使用 AWS MSK(3 个代理)的应用程序。

谢谢你。

0 投票
1 回答
4349 浏览

amazon-web-services - Amazon Kinesis 与 AWS Manage Service Kafka (MSK) -(从本地连接)

我正在评估 AWS Kinesis 与托管服务 Kafka (MSK)。我们的要求是将一些消息 (JSON) 从本地系统(使用 c++ 开发的系统)发送到 AWS。然后我们需要将上述消息持久化到 PostgreSQL 等关系数据库中,同时我们需要将上述数据流式传输到托管在 AWS 中的其他一些微服务(java)中。

我有以下查询:

i) 如何从我的本地系统访问(连接和发送消息)到 AWS Kinesis?是否有任何 C++ API 支持它?(有 java 客户端 API,但我们的本地系统是用 C++ 编写的)

ii) 如何从我的本地系统访问(连接和发送消息)到 AWS MSK?

iii) 是否可以将 MSK 与其他 AWS 服务(例如 lambda、Redshift、EMR 等)集成?

iv) 要将数据持久化到数据库中,我们可以使用 AWS lambda 吗?(AWS Kinesis 支持该功能,AWS MSK 怎么样)

v) 我们的消息速率是 50msg/秒,什么是高性价比的解决方案?

0 投票
2 回答
1031 浏览

amazon-web-services - 如何获取 Amazon MSK 的代理端点作为输出

我们有一个 AWS cloudformation 模板,我们正在通过它创建 Amazon MSK(Kafka) 集群。这工作正常。

现在,我们的产品堆栈中有多个应用程序使用由 Amazon MSK 创建的 Brokers 端点。现在为了自动化产品部署,我们决定为 MSK 代理端点创建一个 Route53 记录集。我们很难找到如何将 MSK 集群的代理端点作为 AWS Cloudformation 模板中的输出。

期待对此的建议/指导。

0 投票
1 回答
2057 浏览

apache-kafka - 使用 Kafka-Connect 通过 SSL 连接到 MSK 时出现问题

我在 Confluent Kafka-Connect 映像中使用 AWS MSK TLS 终端节点时遇到问题,因为它在创建/读取主题时超时。当我通过 PlainText 端点时工作得很好。

我尝试引用该 docker 映像上可用的 jks 存储路径仍然无法正常工作,不太确定我是否缺少任何其他配置。根据我从 AWS 文档中读到的内容,Amazon MSK 代理使用公共 AWS Certificate Manager 证书,因此任何信任 Amazon Trust Services 的信任库也信任 Amazon MSK 代理的证书。

附加我正在使用的 kafka-connect 配置任何帮助都会很棒:)

信息 org.apache.kafka.clients.admin.AdminClientConfig - AdminClientConfig 值:

0 投票
0 回答
287 浏览

apache-kafka - 使用 TLS 和 Spring-kafka 的 AWS MSK 问题

任何人使用 AWS MSK 和 TLS,使用 Spring-kafka,下面是我们应用程序的详细信息,使用下面的配置,应用程序无法正常工作

  1. 我们已经在 Fargate 上部署了我们的消费者/生产者
  2. kafka-client 版本为 2.1.1
  3. 以下是用作消费者和生产者一部分的配置值

    /li>

当我们部署应用程序时,Fargate 实例不断重启,抛出内存不足异常,但我们的任务定义是 4cpu 和 12 GB RAM,通常应用程序在 2cpu 和 4 GB RAM 下运行良好。此外,应用程序在早期使用自托管 Kafka 时运行良好。

0 投票
1 回答
404 浏览

java - 使用spring kafka与msk的连接问题

在此处输入图像描述

所以在aws实例上,我们尝试将spring kafka与msk连接起来,它与本地kafka一起工作。接下来没有 ssl 。我试过 telnet 它的运行。但是在运行应用程序时会出现此异常。

我们的 msk 集群在同一个 vpc 中。所有代理连接配置字符串都很好

0 投票
1 回答
150 浏览

aws-msk - KEDA 与 AWS MSK 集成

我正在使用 AWS MSK,是否可以与 Keda 集成?我找不到 AWS MSK 的任何相关文档。

0 投票
1 回答
320 浏览

apache-kafka - Burrow 与 MSK Kafka 的集成

我正在尝试将 Burrow 连接到 AWS MSK Kafka。我不断收到以下消息。我可以按照步骤从同一个 EC2 实例连接到 MSK。但是 Burrow 无法连接。我们需要指定我无法在 Burrow 中设置的信任库。任何帮助,将不胜感激。

0 投票
1 回答
105 浏览

kubernetes - Kubernetes 上的卡夫卡

我们在一个集群上部署了 12 个 API,我们使用的是部署在 3 个 EC2 实例上的 Kafka。我应该在 K8s 中添加 Kafka 服务器还是应该保持不变?还是我应该开始使用 AWS MSK?

仍在试验中,因此任何建议或好的文档都会有所帮助

0 投票
1 回答
1042 浏览

apache-kafka - Kafka Cluster 和 Kafka Broker 有什么区别?

Kafka clusterKafka broker一样的意思吗?

我知道集群有多个代理(这是错的吗?)。

但是当我编写代码来产生消息时,我觉得很尴尬option

这是代理地址还是集群地址?如果这是broker地址,我认为不好,因为当broker计数发生变化时,我们必须修改上面的地址。
(但它似乎是经纪人地址..)

另外,我MSK在亚马逊看到,我们可以为每个AZ.
这意味着,我们不能有很多经纪人。(最多三四个?)

他们指导我们应该将此代理地址写入 bootstrap.server option as a,`单独的列表。

为什么他们不指导我们使用集群地址或ARN