问题标签 [azure-data-factory-2]

我们有一个 Azure 数据工厂，其中包含大约 40 个管道，每个管道都有一个使用 HDInsight 按需链接服务运行配置单元脚本的活动。

从那以后，我们添加了一个自定义元存储，它使用一个 azure SQL 实例作为存储链接服务。我们为实现这一目标而设置的唯一方法是HcatalogLinkedServiceName在数据工厂 ARM 脚本中。

自从这样做以来，我们注意到活动失败的增加并且我们的性能已经下降（这可能是由于我们之前使用的 Azure SQL 层达到了 100% 的 DTU 使用率。）

活动以失败告终Error in Activity: The request was aborted: The request was canceled..

这在使用自定义元存储时似乎相当一致，并且在使用默认值时似乎不是问题。

是否需要进一步配置我们可能错过的自定义元存储，或者有关我们在此处描述的配置/使用的任何内容，这可能表明为什么我们遇到上述错误的故障显着增加。

HDI OnDemand OS 是 linux，版本是 3.2。

我们也遇到了一些更严重的错误，但我认为这可能是因为我们将 3.3 HDI 集群连接到与 3.2 按需集群相同的元存储。这是本文件建议反对的。

https://blogs.msdn.microsoft.com/azuredatalake/2017/03/24/hive-metastore-in-hdinsight-tips-tricks-best-practices/

Ensure that the Metastore created for one HDInsight cluster version is not shared across different HDInsight cluster versions. This is due to different Hive versions has different schemas. Example – Hive 1.2 and Hive 2.1 clusters trying to use same Metastore.

这似乎也表明 hive 和 hcatalog 在 3.2 和 3.3 之间存在重大变化。

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning

根据文章，我在 EastUS 地区创建了一个新的 Azure SQL DB 并启用了 SSIS 集成（在同一地区）：https ://docs.microsoft.com/en-us/azure/data-factory/tutorial-deploy- ssis-packages-azure

没有收到任何错误，并且 powershell 脚本已成功执行（至少我是这么想的，因为我能够从 SSMS 17.3 看到 SSISDB 但我无法获得文章中提到的“集成服务目录”节点：https ://docs.microsoft.com/en-us/sql/integration-services/lift-shift/ssis-azure-connect-to-catalog-database

请让我知道我还需要做什么来获取“集成服务目录”节点和它下面的 SSISDB，以便我能够将 SSIS 包部署到“集成服务目录”--> SSISDB--> 项目中。

我在 Azure Datafactory 中有一个 ScheduleTrigger。我无法将运行时状态更改为已启动。我尝试过使用 StartWithHttpMessageAsync。（以及 API 中所有其他启动命令的感觉）

触发器的 json 如下所示：

我无法为 ADF v2 配置 VSTS 帐户。我用来访问 azure 门户和 azure data factory v2 的登录名确实可以访问 VSTS git 存储库。但是它们没有在下拉列表中列出。我应该配置一些东西还是我错过了什么？

1. 用于创作 ADF v2 的 VSTS 帐户和 azure Active Directory 帐户是否相同？
2. 即使它们相同，为什么我看不到要配置的关联 git 存储库？

我在这里提到但无法解决https://docs.microsoft.com/en-us/azure/data-factory/author-visually#authoring-with-vsts-git-integration

关于数据工厂和 .NET SDK 的 3 个问题：

1) 是否可以通过 .NET SDK 以编程方式从数据工厂中删除数据集？理想情况下，我希望能够传递要删除的数据集的名称并让它处理它。我浏览了文档，似乎找不到任何明确的方法。

2）创建数据集或管道时，如何测试响应以查看是否成功。

3) 创建数据集时，是否可以检查配置状态并等到配置完成后再创建管道，因为数据集必须在关联管道之前创建？

V2 复制活动中是否有一种方法可以使用表达式对输入列（字符串类型）之一进行操作？在将行加载到目标之前，我需要限制列中的字符数。

我的希望是简单地从这样的东西切换：

像这样：

如果有人可以指出我可以在哪里阅读可以使用字符串表达式的位置和时间，我可以使用该指南。

例如：我在 adf v2 中使用调度触发器/翻转窗口触发器调度管道，频率：min每分钟触发一次。当第一个管道仍在运行时，我想将第二个管道触发器放入队列并开始直到第一个完成

尝试从 Visual Studio (2015) 将更改部署到 Azure 上的现有数据工厂时，我看到以下屏幕，其中“使用现有数据工厂”选项的下拉菜单为空白。我应该能够看到一些DF。

我有权访问相关订阅和部署权限，但不完全确定它为什么不显示现有数据工厂。

知道为什么吗？

Azure Data Factory V2中，如何处理Azure Analysis Service Cube？

我可以使用 Azure 自动化帐户运行 runbook powershell 脚本来自动处理多维数据集。但是，我想将多维数据集处理添加到我在 ADF V2 上开发的 ETL 流程中。

你能给些建议么？

我想在 ADFv2 中执行一个 SSIS 包。

我创建了一个管道并为它使用了一个存储过程，如此处所述

https://docs.microsoft.com/en-us/azure/data-factory/how-to-invoke-ssis-package-stored-procedure-activity。

但这仅在数据库凭据保存在包中时才有效。有没有办法使用我在集成服务目录的环境属性中配置的数据库凭据触发包？提前感谢您的帮助！！