问题标签 [azure-data-factory]

无法通过谷歌、msdn（和其他微软）文档或 SO 找到答案。

在 Azure 数据工厂中，可以使用管道中的复制活动从数据集中获取数据。管道定义包括一个查询。我在文档中看到的所有查询都是简单的单表查询，没有连接。在这种情况下，数据集被定义为数据库中的一个表，其中“TableName”=“mytable”。此外，可以从存储过程中检索数据，大概允许更复杂的 sql。

有没有办法在管道中定义更复杂的查询，该管道包括连接和/或转换逻辑，这些逻辑从查询而不是存储过程中更改数据或管道。我知道您可以在数据集中指定字段，但不知道如何绕过“tablename”属性。

如果有办法，那方法是什么？

输入是本地 sql server。输出是 azure sql 数据库。

为清楚起见已更新。

将数据从表存储移动到 SQL Azure 时，是否可以使用 Azure 数据工厂仅获取 Delta（尚未移动的数据）？

更详细的解释：有一个Azure Storage Table，里面有一些数据，会定期更新。我想创建一个数据工厂管道，将这些数据移动到 SQL Azure 数据库。但是在每次移动中，我只希望将新添加的数据写入 SQL DB。Azure 数据工厂有可能吗？

我收到以下错误。错误代码 4815 是什么意思？找不到有关该错误代码的任何文档。

我在 Azure 数据工厂服务中创建了一些管道，以将数据从 SQL 表移动到 Azure 表。但他们从不开始跑步。相反，pending validation即使在我单击runAzure 门户中的按钮后，源数据集仍然存在。我已经检查了external属性，它们都设置为true. 我想知道是否还有其他可能的原因。

这是我的表格来源

我有一组现有的天蓝色存储表，每个客户端一个，用于在多租户云系统中保存事件。

例如，可能有 3 个表来保存登录信息：

ClientASignins ClientBSignins ClientCSignins

有没有办法动态循环这些作为复制操作的一部分或像 Pig 脚本一样？

还是有其他方法可以达到这个结果？

非常感谢！

我正在使用数据工厂将数据从 Blob 存储中可用的 csv 文件移动到 Azure SQL DB。该过程完成后，我需要将处理后的 csv 文件移动到 Blob 存储中的其他位置。

我需要使用什么样的活动和类型来执行此任务。

运行 MapReduce 作业时，输出文件夹不应存在，否则作业将失败。那么在定义一个 azure 数据工厂时，我如何定义一个活动来删除现有的输出文件夹？Oozie 有一个预处理活动，可用于删除 a 文件夹，但我不知道如何在数据工厂中执行此操作？

在 azure 数据工厂中按需使用 hdinsight 时，它每次运行时都会创建一个新的 blob 容器。我想将它指向现有的 blob 存储，或者至少阻止它在每次运行时创建新的 blob 存储。我可以这样做吗？

我有一个包含 4 个不同活动的管道。每一项活动都是下一项活动的先决条件。也就是说，第一个活动为第二个活动生成输入，第二个活动为第三个活动生成输入，依此类推。我已将所有输入和输出文件夹定义为表，在我的管道中，我将每个作业的输出添加为下一个的输入。

我的假设是每个活动都被执行并生成输出文件夹，然后下一个活动将其作为输入。但是，当我执行管道时，第一个活动成功完成，但是在执行第二个活动时，看起来第一个活动正在执行，因为第二个活动失败并且错误消息显示第一个活动正在执行并且它失败（因为我没有传递所需的参数）！我在执行活动的方式上遗漏了什么吗？

我的活动是 HDInsight 活动。

我来自 Oozie 背景，并将管道视为 oozie 工作流程。

创建 HDInsight On Demand 链接资源时，数据工厂会为 hdinsight 创建一个新容器。我想知道如何创建一个指向该容器的表？这是我的表定义

应该用什么代替'????' 我放在那里？不接受的关键字。