问题标签 [azure-data-lake]

我们正在使用 Microsoft Azure USQL 进行数据库测试。谁能提供 USQL 的 ODBC/JDBC 连接详细信息？

我将此程序集用作 json 提取器，并且一切正常。我输入的 json 文件现在只是普通的 json。我想要做的是读入带有加密内容的文件。

所以在提取器中我想使用我的 C# 方法来解密一个字符串，但是我不知道如何使它工作，因为我没有在任何地方得到一个字符串。这是提取方法。

这是我的解密方法

谁能指出我正确的方向？谢谢！

我们有一个简单的 U-SQL 迁移脚本：

1. 从我们的 ADL 数据库中的临时表中选择数据
2. 截断临时表
3. 将内容插入 ADL 中的持久表

当我们在为临时表运行加载脚本后运行此脚本时，脚本成功运行并插入数据。但是，如果我再次运行相同的迁移脚本，则会收到以下错误：

"diagnosticCode":195887168,"severity":"Error","component":"RUNTIME","source":"System","errorId":"E_RUNTIME_SYSTEM_INTERNALISSUE","message":"已报告内部错误 [断言失败：'partitionDimension < vertexIndices.size()' at ScopeEngine::GetPartitionIndex(1020),]"

最后，如果我再次运行加载脚本，然后运行迁移脚本，一切都会恢复正常。任何人都可以提供有关可能出现问题的更多信息吗？

要求是监视 ADLS 目录中创建的任何新文件。如果是这样，请创建一个触发器，该触发器可以被捕获并在适用时采取行动。

我注意到核心 Webjobs SDK 提供了 Trigger：BlobTrigger 和 Binding：Blob。

我想知道是否有开箱即用的实现或应该编码？如果这是需要编码的东西，你能帮我提供一个可能有帮助的代码示例或链接吗？

我正在为我正在开发的应用程序测试数据湖。我是 U-SQL 和数据湖的新手，我只是想查询 JSON 文件中的所有记录。现在，它只返回一条记录，我不知道为什么，因为该文件大约有 200 条。

我的代码是：

数据示例：

提前感谢您的帮助

我们的用例需要通过 Azure 数据工厂将可配置的输入传递给 U-SQL 脚本。我们正在评估可行性，并且需要根据活动的时间片间隔自动化传递给 U-SQL 脚本的变量数量。

例如，如果 U-SQL 脚本每 4 小时运行一次，它将需要从 4 个不同的文件中读取数据，每小时一个。如果间隔更改为 5 小时，我们需要自动执行此操作，以便自动读取 5 个不同的文件，而无需更新 U-SQL 脚本。

文件路径格式为：Source\YYYY-MM-DD\hh.csv

数据工厂或数据湖提供的当前设施和功能集是否可以实现这种动态性？或者是否有解决方法，以便数据工厂管道的部署可以自动化？

我在数据湖中有这个 JSON 文件，如下所示：

为了将数据调用到我的应用程序中，我必须使用以下代码将 JSON 转换为字符串：

这会将 JSON 输出到一个可读的 .csv 文件中，当我下载文件时，所有数据都会正确显示。我的问题是当我需要获取配置文件中的数据时。因为 JSON 现在是一个字符串，所以我似乎无法提取任何数据并将其放入变量中以供使用。有没有办法做到这一点？还是我需要研究其他选项来读取数据？

我正在使用 Node js 对 Azure AD 进行身份验证以创建数据湖存储帐户，它会登录但对于帐户创建它会给出错误：代码：'InvalidAuthenticationTokenTenant'， 消息：'访问令牌来自错误的颁发者\' https://sts.windows.n et\'。它必须与与此订阅关联的租户 \' https://sts.windows.net/ \' 匹配。

我一直在尝试构建我的 U-SQL 脚本，甚至使用了下面的示例：

但是，当我构建它时，我收到以下错误：

E_CSC_USER_NOTAUTHORIZED：此语句需要数据库“master”的 USE 权限

我不知道为什么我有这个。我的另一位同事在构建同一个项目时没有问题。我以前能够建造，但由于某种原因我不能再建造了。

有人知道为什么吗？

谢谢。

我有很多文件要尝试合并。我碰巧知道每个文件中的许多列都只包含空值，我可以不用它们。如何编写 U-SQL 语句来从文件中提取数据，检查除了空值之外什么都没有的列并排除它们？

谢谢！