azure-data-lake - AdlCopy 目标参数的 URI 类型

Question

在AdlCopy.exe用于将数据从 Azure Blob 存储移动到 Azure Data Lake Store 的实用程序文档中，所有示例都显示swebhdfs:URI 前缀。

例如：

AdlCopy /dest swebhdfs://mydatalakestore.azuredatalakestore.net/myfolder/ ...

https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-copy-data-azure-storage-blob/

但是，在 Data Lake Store 帐户的 Azure 门户页面中，列出了两个不同的“地址”——一个带有前缀的“URL”https:和一个带有前缀的“ADL URI” adl:。

例如：

网址

https://mydatalakestore.azuredatalakestore.net

动态链接地址

adl://mydatalakestore.azuredatalakestore.net

所有这些不同的“地址”是否等效且可以相互替代，尤其是与实用程序的/dest参数一起使用时AdlCopy.exe？

Answer 1

swebhdfs 是提供 WebHDFS 兼容语义的安全 WebHDFS URI。adl 是（也是安全的）Azure Data Lake URI，它通过一些额外的性能改进和功能扩展了 WebHDFS。您也可以使用 https，因为该服务具有 REST 接口。目前这 3 种 URI 方案在 adlcopy 工具中是可以互换的。继续，请仅使用门户中发布的 URI 方案以获得最佳性能。

现在不要让我开始解释为什么 Hadoop 生态系统会滥用 URI 方案来定义操作语义（我猜有人混淆了 http 协议和 http URL 方案）。