问题标签 [aws-msk]

是否有可能做到这一点？

在处理 SQS 事件流时，如果 Lambda 函数没有足够的预留并发，该函数将被限制，未处理的事件/消息可以通过 SQS 重驱动策略重试。我从不喜欢这种限制，因为在任意次数的重试/消息可见性超时后，未处理的消息最终会出现在 DLQ 上。

从我幼稚的角度来看，似乎上述解决方案对于 MSK 是不可能的，因为将消息放回 MSK 主题以实现某些可见性超时将有效地丢失主题传递顺序。

我四处搜索，但找不到任何关于如何使用 MSK 到 Lambda 实现背压的详细信息。有人对 MSK 主题消费者如何处理 Lambda 限制有任何见解吗？

非常感谢！

我将 kafka-connect docker image( confluentinc/cp-kafka-connect-base:6.0.1) 部署到 ECS / fargate 中，为我的 ECS 服务分配了一个安全组，该安全组允许传入的 zooper keeper 和 kafka 引导服务器流量（纯文本和 TLS）以及允许我的 IAM 角色ECS 任务对 MSK 集群运行 kafka 操作，但连接集群在尝试从 MSK 集群获取代理列表时仍然超时。

kafka connect ECS 服务和 MSK 集群都在 AWS 的同一个私有子网上。

安全组代码

最近，我们开始对我们的 Kafka 连接器进行一些测试，该连接器与 Amazon 的托管 Kafka 服务 MSK 连接。发布记录似乎可以正常工作，但在启用事务时却不行。

我们的集群由使用默认 MSK 配置的 2 个代理（因为我们有 2 个区域）组成。我们正在使用以下属性创建我们的 Java Kafka 生产者：

但是，当生产者使用transactional.id启用事务的设置启动时，该initTransactions()方法会挂起：

查看日志输出，我们看到以下流，而且它似乎从未超时。

据我所知，经纪人可用，并且该物业中的每个主机bootstrap.servers都可用。如果我连接到它们中的每一个并在没有事务的情况下发布，那么它就可以工作。

知道我们缺少什么吗？

您好，我正在尝试使用此代码将我的应用程序连接到我们的 Amazon MSK 集群但是它总是无法连接到 Amazon MSK 集群

是否可以使用这种命令连接到 Amazon MSK，因为当我在本地运行我的 Kafka 集群时，它正在运行非亚马逊 msk 管理的集群

我已经设法在一个 ec2 实例上部署了 ksqldb 服务器，并使用 msk kafka 作为 kafka 服务器，docker-compose并且它的工作正常（能够使用 python KSQL API 客户端连接并访问主题和 msk 中的流）。

但是，当我使用正确的集群和任务定义在 AWS FARGET 上部署下面的 docker 映像时，它会在 cloudwatch 日志上提供以下错误日志

我还在farget容器中启用了端口8083、8088、80，同时在容器中添加了docker镜像。

无法找出为什么相同的 docker compose 映像没有在 farget 上运行但在 ec2 机器上运行而没有错误。

有人可以帮我吗？我对 ksql 和 aws farget 也完全陌生。提前致谢

PS：我已按照本教程在 Farget 上部署 Docker 映像 使用 ECR 和 ECS 在Farget 上部署 Docker 映像

https://docs.aws.amazon.com/es_es/msk/latest/developerguide/what-is-msk.html

阅读本文档后，我并不清楚 Zookeeper 节点是否在同一个子网中，因此在同一个可用区中。我假设为了高可用性，它们位于不同的可用区。有人可以确认吗？

我正在尝试使用来自 lambda 函数的 MSK（托管 Amazon Kafka 服务）消息 - MSK 是我的 lambda 的触发器。

生产者看起来像这样：

在 lambda 函数中，我收到以下信息：

我想将值字符串转换为 JSON 对象。我怎么能做到？我尝试了很多版本，我认为应该工作的版本抛出异常（Exception: Expecting value: line 1 column 1 (char 0)）

我正在尝试将 aws 中的 Kafka(MSK) 连接到 aws 中的 Elasticsearch。我设置了它，但目前出现错误。以下是步骤：

然后我更新了 connect-standalone.properties 配置文件：

然后我为接收器连接器创建了另一个配置文件。

然后我运行 confluent 独立命令进行连接。

它运行但最终抛出一个我不知道为什么的错误。下面是错误：

任何帮助或输入都会非常感谢您。

我有一个 AWS MSK 集群启动并运行。连接到它并运行此命令以创建一个名为的测试主题topicoteste

这是我得到的两个错误。有什么建议么？

如果您运行以下 aws 命令，您将获得 msk kafka 集群详细信息：

这将返回如下内容：

请注意 ZookeperConnectString 是如何以逗号分隔的字符串...

它真的是 zookeeper（我认为 zookeeper 的全部目的是用一个端点协调代理）还是代理列表？这就是我的怀疑。此外，当我在-zoookeeper命令中使用它来创建主题或生成主题时，如果我只使用其中一个端点，它的工作原理是一样的。

我可以在我的应用程序中只使用一个端点吗？或者我应该在我的生产者配置中使用所有三个。如果是这样，为什么？只使用其中一种会有什么影响？