问题标签 [azure-data-lake]

我们如何在作业执行时根据时间戳在 azure 数据湖中的 u-sql 中获得动态输出文件名。感谢您的帮助。我的代码如下：

我有一个 Azure Data Factory Visual Studio 项目，我在其中使用 Azure Data Lake 链接服务。当我创建它们时，我必须首先授权它们。但是给定的授权会在特定时间段（以天为单位）后过期。

我找不到重新授权链接服务的选项。我尝试从门户重新授权另一个链接服务，并将该授权用于在 VS 中创建的链接服务，但这不起作用。

我必须删除并重新创建链接服务以获得新的授权。

是否缺少此功能，或者是否有其他方法可以在 VS 中获得数据湖链接服务的新授权？

我可以从 U-SQL 中的参数化表值函数中进行选择，但我似乎无法在 CROSS APPLY 中使用它。请参阅@query1，我可以在其中从我的 TVF 中进行基本选择。请参阅@query3 了解我使用 SQL.MAP 的解决方法。请参阅@query2，它不起作用并已被注释掉。这是受支持的模式吗？返回的错误是

“C# 错误 CS0103：当前上下文中不存在名称‘temp’”。

已经尝试过建议的 JSONPath 选项，但 JSONExtractor 似乎只能识别根级别。在我的情况下，我必须处理嵌套的 json 结构，以及一个数组（参见下面的示例）。在没有多个中间文件的情况下提取它的任何选项？

选择关系ID、地址ID、街道、邮政编码、城市？

当我尝试在本地运行 U-SQL 脚本时，出现以下错误：

我可以在 Visual Studio 中运行在 Data Lake Store 中执行的脚本，但只有在尝试在本地运行脚本时才会出现错误。

我在 64 位 Windows 7 上使用 Visual Studio 15 社区。

我想让我们的每日 csv 日志文件从 GCS 传输到 Azure Datalake Store，但我真的不知道什么是最简单的方法。有没有内置的解决方案？我可以用数据工厂做到这一点吗？我宁愿避免运行计划使用 api 执行此操作的 VM。这个想法来自 GCS->(DataFlow->)BigQuery 解决方案。感谢您的任何想法！

所以这就是我所在的位置。

我在 Data Lake Store 中存储了大量数据。但是当我想制作一份报告（可能是一个月的价值）时，我想将其模式化为一个表格，以便在查询时一遍又一遍地参考。

我应该只使用 Data Lake Analytics 通过创建 U-SQL 表 ( https://msdn.microsoft.com/en-us/library/azure/mt621301.aspx )提供的内置数据库功能，还是应该在SQL 数据仓库？我想我真正想知道的是这两种情况的优缺点是什么，什么时候最好使用？

顺便说一句，我是这个 Microsoft Azure 世界的菜鸟。还在积极学习。

我们编写了一个大的 U-SQL 脚本，它由多个相互依赖的代码单元组成。它可以作为单个 U-SQL 作业运行。顺便说一句，我们将此作业作为 Azure 数据工厂活动运行。

我们希望将此脚本分成多个 U-SQL 脚本，每个脚本都包含一个单元，以便更好地维护和测试。这样，我们将能够对脚本的单个单元进行单元测试。但如果我们这样做，我们将面临另一个问题。在多个脚本的情况下，我们必须在部署数据工厂管道之前将所有这些脚本组合成一个脚本。

有没有办法管理多个文件中的 U-SQL 脚本并将其作为 Azure 数据工厂中的单个作业提交？

为什么我不能通过 Aure Web 门户在 PowerShell Runbook 中运行 Submit-AzureRmDataLakeAnalyticsJob cmdlet？我收到以下错误消息：

Submit-AzureRmDataLakeAnalyticsJob ：术语“Submit-AzureRmDataLakeAnalyticsJob”未被识别为 cmdlet、函数、脚本文件或可运行程序的名称。检查名称的拼写，或者如果包含路径，请验证路径是否正确并重试。

我能够在 PowerShell ISE 中无错误地运行此命令。

这种类型的命令不能在运行手册或其他东西中运行吗？也许我只是不了解 PowerShell

我正在尝试按计划使用 Azure 自动化提交 U-SQL 作业。但是，当我使用该Submit-AzureRmDataLakeAnalyticsJob命令时，出现以下错误：

Submit-AzureRmDataLakeAnalyticsJob : Object reference not set to an instance of an object

我可以使用 运行脚本PowerShell，它会间歇性地工作，但偶尔会出现相同的错误。在 Azure 自动化中是否有解决此错误的方法？

编辑：完整的声明是：（Submit-AzureRmDataLakeAnalyticsJob -Account "****" -Name "SecondJob" -Script $usqlScript出于隐私考虑，我已将帐户名称加注星标）。$usqlScript 变量包含一个有效的 U-SQL 脚本，该脚本在通过 Azure 门户提交时运行完成。