问题标签 [azure-eventhub-capture]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
130 浏览

azure-functions - Azure Functions - 事件中心“连接尝试失败”错误

我在 Azure Function 中使用 Time Trigger 编写了一个 python 代码,该代码从 api 获取数据并将其发送到 Event Hub。当我执行该函数时,我收到以下错误:

我的 function.json 如下所示:

该连接在我的 local.settings.json 以及 Azure 上的配置选项卡中定义。我使用了具有管理、发送和侦听权限的连接字符串-主键。

有什么我错过的吗?

0 投票
0 回答
43 浏览

azure - 如何处理逻辑应用程序中的错误,以便我们不会丢失来自服务总线的消息

图片——(附加工作流程)

根据项目的当前架构,我正在从服务总线(使用 peek lock)读取消息,处理 Json 并将其发送到 Eventhub。

我想知道在逻辑应用程序由于任何问题出现任何错误时保留消息的方法(我可以想到以下两个)。我知道如果服务总线消息在一定时间内未处理(默认为 30 秒),它们就会变成死信。1. 处理 Json 文件时出错 2. 由于事件中心中的一些问题而出错(事件中心可能被禁用并且不接受任何提要)

在上述两种情况下,我如何确保不会丢失来自服务总线的消息?

我可以考虑使用延迟消息方法 - 如果数据未发送到事件中心而不是延迟消息并在一段时间后(1 分钟后)处理它。您认为这种方法正确吗?如果没有 - 还有其他有效的方法吗?

谢谢你。

0 投票
1 回答
51 浏览

azure-eventhub - Azure EventHub:无法从事件中心采样

我无法从事件中心条目的流式传输中采样:测试查询是:

返回:

在此处输入图像描述

我能够从编码的 python 程序接收数据。我在 azure.eventhub.extensions 包的帮助下编写了一个 EventHubConsumerClient ,一切都很好,我可以看到我的事件发送到特定的 consumer_group ...

这个工具是怎么回事?看起来它的反应很奇怪。

以前有人经历过吗?StreamAnalytics 的查询资源管理器如何用于事件中心测试?它需要哪个consumer_group?如何调试此消息?

感谢您对此的任何反馈。理查德

0 投票
1 回答
20 浏览

azure - 将 Azure EventHub 数据捕获到不同订阅上的 Azure Data Lake

我的团队在我们自​​己的 Azure 订阅中的 Azure EventHub 上发布数据。我们正在尝试将这些数据传播给我们组织内需要在他们自己的订阅中查询这些数据的其他几个团队。我知道您可以通过打开 EventHub 的捕获并指定您的存储资源来将数据直接捕获到存储中,但据我所知,这不适用于不同的订阅,只能存储到单个数据库,即使这些问题可能克服将需要我的团队添加/维护所有其他团队数据库捕获的大量开销。有没有办法让其他团队在他们自己的订阅上直接将我们的 EventHub 数据捕获到他们自己的存储中,而我们的团队不必创建自定义资源/连接?

0 投票
0 回答
17 浏览

azure - 如何为 Azure 中的事件中心的传入和传出消息设置差异警报

我正在使用 Azure 事件中心集群。在该集群中有 3 个事件中心

  1. Event_hub1
  2. Event_hub2
  3. Event_hub3

现在为了监控事件中心,我创建了一个仪表板,在其中添加了传入和传出矩阵,然后按 entity_name 过滤,即 Event_hub1、Event_hub2、Event_hub3。

使用该设置,我可以监视所有事件中心,但是当我为所有三个事件中心设置传入和传出干扰的警报时,我无法获取每个事件中心的消息计数,目前我正在获取传入日志和集群级别的传出消息,而不是 event_hub 级别的消息。

0 投票
1 回答
16 浏览

azure - 使用 Azure DataFactory Pipeline 将已读取的 Avro 文件从一个目录移动到另一个目录

我有一个 Eventhub Capture,它每 15 分钟发出一次Avro 文件。我可以使用 Azure 数据工厂数据流成功读取这些文件,但是在使用 Azure 数据工厂管道完成读取这些文件后,如何移动这些文件?

将会有新文件进来,我不想只将新文件移动到已处理的文件到存档文件夹中。

我尝试执行 GetMetadata Activity,然后执行 Delete,但它似乎无法在目录中准备好 Avro Files。可能是我错过了什么。

谢谢