amazon-kinesis - ValidationException - 成员的长度必须小于或等于 500

Question

我的 Snowplow 浓缩器将数据加载到 Kinesis Data Stream，但 Kinesis 响应错误 400 和消息Member must have length less than or equal to 500 (Service: AmazonKinesis; Status Code: 400; Error Code: ValidationException，我在 AmazonKinesis 文档中找不到此异常。我也看不懂这个消息，500什么，字节？当我在 AWS 控制台中查看 Kinesis 时，没有设置为 500，而且我没有看到与最大尺寸相关的任何内容。

谁能告诉我这个500是什么？

Answer 1

该错误意味着 Enrich 应用程序正在尝试一次将 500 多条记录写入 Kinesis。Kinesis API的PutRequests操作限制为 500 个条目。这在此处记录。

在您的丰富配置文件中，您有buffer 部分，您可以在其中指定：

      byteLimit = 10000000
      recordLimit = 480 
      timeLimit = 60000

当达到这些限制之一时触发刷新，以先发生者为准。