heron - 如何访问 Heron 中的背压指标（Json 文件）

Question

我想访问一个 JSON 文件，该文件包含拓扑中所有苍鹭实例的所有详细信息（即 heron-ui 中显示的所有数据）。我找不到获取这些详细信息的方法。我特别在寻找背压指标。

score 1 · Accepted Answer

要访问 heron-ui 中显示的数据，也许“heron-explorer”已经足够了？

链接到文档

否则，heron-tracker 有一个很好的，或多或少有据可查的 REST-API。

链接到其余文档

但是，这些示例非常基础，很难找到所有可用的指标。

编辑：发现这个配置告诉哪些指标可以通过 REST-API 访问

编辑2：如果跟踪器没有公开您需要的指标，只需修改“tmaster-sink”的配置下的配置文件“metrics_sinks.yaml”。添加您在 metricsmgr-xy JSON 文件（见下文）但不在 REST-API 中找到的指标。

您可以查看 .herondata/topologies/[cluster]/[role]/[topology-name] 中的日志。在那里您可以找到名为“metrics.json.metricsmgr-xy”的 JSON 文件。打开它们并检查感兴趣的值是否在其中（每个文件包含不同的数据，所以花点时间来探索一下）。也许使用 JSON 解析器来提高可读性（JSON Parser）。然后您搜索您的指标名称（例如 __jvm-memory-mb-total）并构建您的跟踪器请求，例如（在我的 localhost、默认环境、本地集群上本地运行跟踪器）

   curl "http://localhost:8888/topologies/metrics?cluster=local&environ=default&topology=WordCountStreamletTopology&component=filter1&metricname=__jvm-memory-mb-total"

不要忽略下划线“__”。

不过，根据您真正需要背压信息的目的，您可能会或可能不会找到相关指标。到目前为止，我还没有通过 REST-api 获得日志中列出的所有指标，仍然在弄清楚......

编辑：想通了：发现这个配置告诉哪些指标可以通过 REST-API 访问

编辑2：如果跟踪器没有公开您需要的指标，只需修改“tmaster-sink”的配置下的配置文件“metrics_sinks.yaml”。添加您在 metricsmgr-xy JSON 文件（见下文）但不在 REST-API 中找到的指标。

确保正确设置配置（请参阅实例的配置）。例如，设置队列的大小以避免或强制执行背压。