1

我想要的只是将数据从开发环境复制到 Azure 数据湖存储中的生产环境。没有QA..

这些是 .CSV 文件，环境只不过是不同的资源组。 我尝试使用命令复制类似资源组中的数据

Move-AzureRmDataLakeStoreItem -AccountName "xyz" -path "/Product_S
ales_Data.csv" -destination "/mynewdirectory

效果很好，但是，我希望数据移动发生在两个不同的资源组之间。

我遇到的可能解决方案是使用Export命令下载本地计算机中的文件，然后使用Import命令并将它们上传到不同的资源组。

Import-AzureRmDataLakeStoreItem
Export-AzureRmDataLakeStoreItem

使用 PowerShell 背后的原因是自动化导入文件/在不同环境中复制它们的过程，这只不过是使用 PowerShell 自动化整个部署过程。

上面提到的解决方案可能会帮助我处理这个过程，但我正在寻找一个不需要本地机器或 VM 的更好的解决方案。

4

1 回答 1

1

您确实有很多选择，以下所有选项都将能够完成您想要实现的目标。请记住，您需要检查每个限制并权衡成本。例如，Azure 函数的执行时间有限（默认最长为 5 分钟）和本地存储限制。

  1. Azure 逻辑应用（从配置中拖放）
  2. Azure 数据工厂（使用数据湖衬里服务）
  3. Azure Functions（使用Data Lake REST API）
  4. 您可以使用Azure 自动化和 PowerShell 来自动化您当前的方法。
  5. 使用ADLCopy在湖（和其他商店）之间复制

选择哪个可以是固执己见和主观的。

于 2018-01-15T08:27:44.863 回答