问题标签 [azure-eventhub-capture]

使用分区键（或发布者）编写 eventthub 连接字符串的正确方法是什么？我应该在 EntityPath 中写分区吗？有人可以给我一个例子吗？此外，是否有将消费者组链接到特定分区的方法？

如何将 avro 文件从 blob 存储加载到 azure 数据工厂移动数据流？我正在尝试加载但无法导入架构和预览。我在 blob 中的 avro 文件是事件中心捕获功能的结果。我必须使用 azure 数据工厂的移动数据流将数据从 azure blob 移动到 azure sql db。

在 Azure 事件中心捕获中，尽管捕获的消息指标与传入消息匹配，但捕获积压总是很高。我们如何推断这一点？这是否意味着 Azure 在捕获到 Azure Datalake Gen 1 时丢弃了消息负载？

我正在尝试从 Azure Data Lake Gen1 读取 avro 数据，这些数据是从 Azure EventHubs 生成的，在 Azure Databricks 中使用 pyspark 启用了 Azure Event Hubs Capture：

以下语句失败

和

EventHub-Capture 是否写入非 Avro 数据？是否有使用 Spark 读取 EventHub 捕获数据的最佳实践？

在创建 Eventhub 时，我指定了大小窗口 10MB ，时间窗口为 5min，但是在从 Eventhub 捕获事件时，当缓冲区大小达到 1Mb 时，即使没有达到提到的时间窗口 5min 或提到的大小窗口 10MB，也会将数据捕获到存储帐户。给定 1 个 TU，1 个分区作为 Eventhub 配置。

你能告诉我为什么会这样吗？

全部，

我设置了一个EventHub命名空间和 EventHub，并且能够使用 Python 脚本成功地向它发送和接收事件。我还能够启用捕获功能并将事件以 Avro 格式存储在 Azure Blob 存储中。

我想了解更多关于 EventHubs 的信息，如果有人指出我正确的方向，那就太好了：

[1] 在捕获期间，是否可以将文件格式更改为例如 csv 或 json 格式，以便以 csv/json 格式创建文件？还是 Avro 是唯一受支持的？

[2] 当事件在它过期之前就在 EventHub 中时，事件的格式是什么 - 是 json 格式吗？

[3] 当事件数据存储在 Azure Blob 存储（以 avro 格式）中时，我如何知道数据的结构是什么，以便我可以创建适当的架构，然后我可以在 Azure 数据资源管理器定义中使用它来加载数据进入 Kutso 数据库。

谢谢，

rgn

下面是从微软网站复制的示例代码。我确实用所需的值替换了事件中心、、、<namespace>和<eventhub>。<AccessKeyName><primary key value>

但是，当我执行此代码时，出现以下错误。

我想使用 ARM 模板部署与此相同的架构模式。我已经实现了几乎整个模型，但是我在将事件中心与事件网格连接起来时遇到了挑战。在第 4 点中，您可以看到如何在事件网格中创建订阅，事件中心将事件发送到特定事件网格的主题。

要通过 Portal 执行此操作，您只需按照步骤操作即可。但是如何自动完成呢？例如，使用 ARM 模板。我已经能够找到参考如何创建常规主题，但我找不到任何信息如何在 ARM 中创建事件中心命名空间主题。

是否可以使用门户上的捕获功能以配置单元文件夹分区格式（如 date=xyz）捕获 adls gen 2 中的 eventthub 数据？

有人可以指导我使用批处理模式将事件发送到事件中心的参考实现。?

谢谢施里尼