palantir-foundry - 数据连接 - 一次同步从多个 URL 下载文件

Question

作为单个同步的一部分，如何使用数据连接从大量 URL 列表中下载文件？

我希望能够并行执行此操作，因为我每天将下载 1–2,000 个新文件。我还希望所有文件都存储在一个数据集中。

Answer 1

这是使用 magritte-rest-plugin 支持的。将源配置为 magritte 剩余源的映射。源码格式为：

type: magritte-rest-v2
  sourceMap:
    source_name_1:
      source-object
    source_name_2:
      source-object2

填写后可能如下所示：

type: magritte-rest-v2sourceMap:
    my_api:
      type: magritte-restauthToken: "{{token}}"url: "https://some-api.com/"another_api:
      type: magritte-restauthToken: "{{other_token}}"url: "https://some-other_api.com/"