问题标签 [aws-msk]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - AWS Kafka (MSK) - 如何生成 Keystore 和 truststore 并在我的 Spring Cloud Stream 应用程序中使用它们?
是否有任何关于如何在 Spring Cloud Stream 应用程序中使用 AWS MSK 详细信息的信息?
我相信我们需要生成一个密钥库和信任库,然后将它们合并到我们的应用程序中?我浏览了 AWS MSK 的“客户端身份验证”页面,发现这非常令人困惑。
任何人都可以帮我解决这个问题吗?我只是想部署这个使用 AWS MSK(3 个代理)的应用程序。
谢谢你。
amazon-web-services - Amazon Kinesis 与 AWS Manage Service Kafka (MSK) -(从本地连接)
我正在评估 AWS Kinesis 与托管服务 Kafka (MSK)。我们的要求是将一些消息 (JSON) 从本地系统(使用 c++ 开发的系统)发送到 AWS。然后我们需要将上述消息持久化到 PostgreSQL 等关系数据库中,同时我们需要将上述数据流式传输到托管在 AWS 中的其他一些微服务(java)中。
我有以下查询:
i) 如何从我的本地系统访问(连接和发送消息)到 AWS Kinesis?是否有任何 C++ API 支持它?(有 java 客户端 API,但我们的本地系统是用 C++ 编写的)
ii) 如何从我的本地系统访问(连接和发送消息)到 AWS MSK?
iii) 是否可以将 MSK 与其他 AWS 服务(例如 lambda、Redshift、EMR 等)集成?
iv) 要将数据持久化到数据库中,我们可以使用 AWS lambda 吗?(AWS Kinesis 支持该功能,AWS MSK 怎么样)
v) 我们的消息速率是 50msg/秒,什么是高性价比的解决方案?
amazon-web-services - 如何获取 Amazon MSK 的代理端点作为输出
我们有一个 AWS cloudformation 模板,我们正在通过它创建 Amazon MSK(Kafka) 集群。这工作正常。
现在,我们的产品堆栈中有多个应用程序使用由 Amazon MSK 创建的 Brokers 端点。现在为了自动化产品部署,我们决定为 MSK 代理端点创建一个 Route53 记录集。我们很难找到如何将 MSK 集群的代理端点作为 AWS Cloudformation 模板中的输出。
期待对此的建议/指导。
apache-kafka - 使用 Kafka-Connect 通过 SSL 连接到 MSK 时出现问题
我在 Confluent Kafka-Connect 映像中使用 AWS MSK TLS 终端节点时遇到问题,因为它在创建/读取主题时超时。当我通过 PlainText 端点时工作得很好。
我尝试引用该 docker 映像上可用的 jks 存储路径仍然无法正常工作,不太确定我是否缺少任何其他配置。根据我从 AWS 文档中读到的内容,Amazon MSK 代理使用公共 AWS Certificate Manager 证书,因此任何信任 Amazon Trust Services 的信任库也信任 Amazon MSK 代理的证书。
附加我正在使用的 kafka-connect 配置任何帮助都会很棒:)
信息 org.apache.kafka.clients.admin.AdminClientConfig - AdminClientConfig 值:
apache-kafka - 使用 TLS 和 Spring-kafka 的 AWS MSK 问题
任何人使用 AWS MSK 和 TLS,使用 Spring-kafka,下面是我们应用程序的详细信息,使用下面的配置,应用程序无法正常工作
- 我们已经在 Fargate 上部署了我们的消费者/生产者
- kafka-client 版本为 2.1.1
以下是用作消费者和生产者一部分的配置值
/li>
当我们部署应用程序时,Fargate 实例不断重启,抛出内存不足异常,但我们的任务定义是 4cpu 和 12 GB RAM,通常应用程序在 2cpu 和 4 GB RAM 下运行良好。此外,应用程序在早期使用自托管 Kafka 时运行良好。
aws-msk - KEDA 与 AWS MSK 集成
我正在使用 AWS MSK,是否可以与 Keda 集成?我找不到 AWS MSK 的任何相关文档。
apache-kafka - Burrow 与 MSK Kafka 的集成
我正在尝试将 Burrow 连接到 AWS MSK Kafka。我不断收到以下消息。我可以按照步骤从同一个 EC2 实例连接到 MSK。但是 Burrow 无法连接。我们需要指定我无法在 Burrow 中设置的信任库。任何帮助,将不胜感激。
kubernetes - Kubernetes 上的卡夫卡
我们在一个集群上部署了 12 个 API,我们使用的是部署在 3 个 EC2 实例上的 Kafka。我应该在 K8s 中添加 Kafka 服务器还是应该保持不变?还是我应该开始使用 AWS MSK?
仍在试验中,因此任何建议或好的文档都会有所帮助
apache-kafka - Kafka Cluster 和 Kafka Broker 有什么区别?
有Kafka cluster
和Kafka broker
一样的意思吗?
我知道集群有多个代理(这是错的吗?)。
但是当我编写代码来产生消息时,我觉得很尴尬option
。
这是代理地址还是集群地址?如果这是broker地址,我认为不好,因为当broker计数发生变化时,我们必须修改上面的地址。
(但它似乎是经纪人地址..)
另外,我MSK
在亚马逊看到,我们可以为每个AZ
.
这意味着,我们不能有很多经纪人。(最多三四个?)
他们指导我们应该将此代理地址写入 bootstrap.server option as a
,`单独的列表。
为什么他们不指导我们使用集群地址或ARN
?