问题标签 [azure-data-lake]

我一直在使用示例 XMLExtractor（从https://github.com/Azure/usql/tree/master/Examples/DataFormats克隆）从我的 xml 元素中提取属性。

如果根元素具有任何已定义的属性，则提取器将无法工作。

例如，我需要从以下 XML 文件中获取“rec”元素的“sTime”属性：

使用以下 U-SQL 脚本：

这将写入一个空文件。但是，如果我删除“lics”标签的属性，它就可以工作。

这是提取器的问题吗？或者这需要在提取器的任何参数中定义吗？

问题是，如果没有为 Data Lake Store 中的所有用户和组启用读/写/执行访问权限，我无法从另一个订阅中的 Azure 数据工厂写入一个 Azure 订阅中的 Azure Data Lake Store。我知道我也在 ADF 链接服务中为 Data Lake Store 正确设置了授权，所以这不是问题。以下是详细信息：

我有一个由我在公司的主要 Azure 订阅下创建的 Azure Data Lake Store (ADLS)（在此子中，我是一名共同管理员，可以访问除创建/修改其他用户之外的所有内容）。

我在自己的与 MSDN 相关的 Azure 订阅下有一个 Azure 数据工厂 (ADF)，我正在尝试将 ADLS 用作复制活动的接收器。

我使用相同的登录名来访问门户中的两个 Azure 订阅，当我运行我的管道时，我收到一个 (403) Forbidden 错误，带有ErrorCode=UserErrorAdlsUnauthorizedAccess.

到目前为止我所尝试的：

我按照这里的说明https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-secure-data/并将自己添加到 AAD 组。但是，当我将组添加为数据存储的所有者时，Azure 找不到该组，因此我无法添加它。

AAD集团：

找不到 AAD 组：

我还尝试将自己添加为数据存储中 OWNER 角色的用户（通过用户刀片），并且我在数据湖存储的访问刀片中具有读/写/执行访问权限。还添加了另一个开发人员作为所有者，并具有读/写/执行访问权限，但产生了相同的结果。

我被分配为数据湖存储的用户：

我授予对数据湖存储文件系统的访问权限：

当我尝试运行 ADF 管道或重新运行任何失败的切片时，这两种方法都会导致相同的 403 未授权错误。唯一对我有用的是为所有用户和组启用 READ/WRITE/EXECUTE 访问权限：

我尝试了写/执行和只写，但这些组合都不起作用。当我现在启用它并重新运行失败的切片时，一切都会成功完成，并且数据会写入 Data Lake Store。

有没有办法从另一个订阅写入数据湖存储而不像这样打开访问权限？我会这么认为，因为您可以在 Data Lake Store Linked Service 中指定订阅，但到目前为止我还不能这样做......

我找到了使用 EXTRACT FROM 从 Azure Data Lake Storage 或 Azure Storage Blob 以及 SQL、Azure SQL 数据库或 Azure Data Warehouse 在数据源位置中使用外部表查询文件的文档。但是，我找不到任何有关 Azure 表存储的内容。

我们有以原始形式访问的表存储中的数据，加上对这些数据执行聚合的要求，Azure Data Lake Analytics 似乎是理想的，但我不热衷于必须通过 Data Lake存储/Azure 存储 Blob 中间平面文件。

有没有办法直接从 Azure 表存储中查询数据？

对开发者，

我正在为 Azure Data Lake 进行基准测试，我看到在同一区域中读取 ADL 存储和写入 VHD 大约为 7.5 MB/S。PowerShell 和 C# 就是这种情况，代码取自以下示例：

PowerShell 代码来自https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-get-started-powershell/ C# 代码来自https://azure.microsoft.com/en-我们/文档/文章/data-lake-store-get-started-net-sdk/

上述代码示例是否可以用于基准测试，或者是否会提供新的 SDK 以提高吞吐量？此外，当 ADL 存储普遍可用时，是否有预期的吞吐量数字？

谢谢，马克

我正在尝试安排一个 U SQL 作业。请让我知道我是否可以安排 U SQL 作业。如果可以，我该如何安排。

谢谢，维诺特

我正在尝试使用 spark sql 查询放置在 Data Lake Store 中的 csv 文件。当我查询时，我得到“java.lang.ClassNotFoundException: Class com.microsoft.azure.datalake.store.AdlFileSystem not found”。

如何使用 spark sql 查询放置在 Data Lake Store 中的文件？请帮我提供样品。

示例 csv：

提前致谢， 索旺达里亚

我有很多数据文件最终会定期推送并存储在 Azure 存储/数据湖上。我想提供对此数据进行分析的能力，但后来我发现在 Azure 上有两种方法：

1. U-SQL / Azure 数据湖查询（可视化？？？）
2. 在 Azure 和 Zeppelin 上使用 Spark 的 Spark SQL

有人可以建议我何时使用这种方法中的哪一种？在我看来，两者都可以完成类似的工作。

我想使用 U-SQL 从放置在 Azure Data Lake Store 中的 CSV 数据中删除重叠的持续时间，然后合并这些行。数据集包含开始时间和结束时间以及每条记录的其他几个属性。这是一个例子：

去除重叠后，输出数据集将如下所示：

请注意，CSV 包含大量数据，并且包含数 GB 的大小。我正在尝试解决这个问题，但没有运气。我想避免为 Azure Data Lake Analytics 作业使用 U-SQL 用户定义的运算符，并从 U-SQL 中寻找一些有效的解决方案。

我正在尝试使用 此链接开发 U-SQL 用户定义的运算符。看起来我们可以使用 UDO 读取一行，对其进行处理并将其写入为一行。

在我的场景中，我必须读取多个连续的行并写入多个连续的行，而使用博客中提供的帮助似乎是不可能的。

在另一种情况下，我必须处理单行并分成多行，然后写入输出。

我想知道是否可以使用 U-SQL UDO 处理多行，或者在 U-SQL 中是否有其他方法可以做到这一点？

我想将数据计数传递给自定义应用程序，但我不确定如何传递它。这是我的示例代码，我在其中计算 @count 中的计数并将其传递给 CsvApplier 构造函数，但它不起作用。有没有办法在 U-SQL 中实现这一点？

请注意，它不起作用，所以我正在寻找