问题标签 [azure-sqldw]

我在 SQL DW 内部表之间加载数据时遇到问题，我试图只加载 50 条记录，这在我的源代码中 - 但是“插入”语句需要很长时间并且没有成功执行 [它持续运行超过60分钟]

很少有关于此的统计信息 • 源表（比如 S1）有 50 条记录，105 列，列式存储，DWU 100 上的循环分布 [下面给出该表的 DDL] • 目标表（比如 T1）已创建具有相同的 105 列，列式存储，DWU 100 上的循环分发 • 从 S1 作品中选择前 5 个 * 从 S1 作品中选择 * • 插入到 T1 中，因为 select * from S1 运行了很长时间而没有响应 [超过 60 分钟] • 插入到 T1作为 select top 5 * from S1 ，工作一次，之后不再工作 • 插入 T1 作为 select top 5 all_columns_listed from S1 ，始终有效并在 < 1 分钟内执行 • 插入 T1 作为 select top 30 all_columns_listed from S1 ，始终有效并且在 < 1 分钟内执行 • 插入 T1 作为 select top 50 all_columns_listed from S1 ，运行时间超过 25 分钟

我无法理解，后台可能会发生什么 - 当 select * from S1 正在运行时插入 T1；

DMS 有问题吗？还是因为我们有 105 列？

通过扩大到 DWU 200 尝试了所有上述操作 - 但仍然没有运气。

以上所有操作都在完全不同的数据库上尝试过，仍然没有运气。

还有什么可以检查正在发生的事情吗？如何处理？

我还尝试运行下面的语句来查看 - 是否有任何其他查询正在运行 - 这可能会使我的插入语句暂停或等待.. 但我可以看到 - 只有我的查询正在数据库上主动运行.. select * from " sys"."dm_pdw_exec_requests" where status='Running' order by submit_time desc

S1 DDL 在下面给出 CREATE TABLE S1 (
col1 [uniqueidentifier] NOT NULL,
col2 nvarchar NULL,
col3 [uniqueidentifier] NULL,
col4 nvarchar NULL,
col5 nvarchar NULL,
col6 [decimal](26, 6) NULL,
col7 [decimal]( 26, 6) NULL,
col8 [十进制](26, 6) NULL,
col9 [十进制](26, 6) NULL,
col10 [十进制](27, 6) NULL,
col11 [十进制](27, 6) NULL,
col12 [十进制](26, 6) NULL,
col13 [十进制](25, 6) NULL,
col14 [十进制](25, 6) NULL,
col15 datetimeoffset NULL,
col16 nvarchar NULL,
col17 datetimeoffset NULL,
col18 [smallint] NULL,
col19 [decimal](25, 6) NULL,
col20 [decimal](25, 6) NULL,
col21 [decimal](26, 6) NULL,
col22 [decimal ](26, 6) NULL,
col23 datetimeoffset NULL,
col24 [decimal](25, 6) NULL,
col25 [decimal](25, 6) NULL,
col26 [int] NULL,
col27 [decimal](25, 6) NULL ,
col28 datetimeoffset NULL,
col29 [decimal](25, 6) NULL,
col30 [decimal](25, 6) NULL,
col31 datetimeoffset NULL,
col32 datetimeoffset NULL,
col33 datetimeoffset NULL,
col34 datetimeoffset NULL,
col35 datetimeoffset NULL,
col36 datetimeoffset NULL,
col37 [decimal](25, 6) NULL,
col38 [decimal](25, 6) NULL,
col39 datetimeoffset NULL,
col40 [int] NULL,
col41 nvarchar NULL,
col42 [smallint] NULL,
col43 [smallint] NULL,
col44 [decimal](25, 6) NULL,
col45 [decimal](25, 6) NULL,
col46 [decimal](25, 6) NULL ,
col47 [十进制](25, 6) NULL,
col48 [十进制](25, 6) NULL,
col49 datetimeoffset NULL,
col50 [十进制](25, 6) NULL,
col51 [十进制](25, 6) NULL,
col52 [十进制](25, 6) NULL,
col53 [ decimal](25, 6) NULL,
col54 [decimal](25, 6) NULL,
col55 [decimal](25, 6) NULL,
col56 datetimeoffset NULL,
col57 [decimal](25, 6) NULL,
col58 [decimal] (25, 6) NULL,
col59 [十进制](25, 6) NULL,
col60 [十进制](25, 6) NULL,
col61 [十进制](25, 6) NULL,
col62 [十进制](25, 6) NULL ,
col63 datetimeoffset NULL,
col64 [decimal](25, 6) NULL,
col65 [decimal](25, 6) NULL,
col66 [decimal](25, 6) NULL,
col67 [decimal](25, 6) NULL,
col68 [ decimal](25, 6) NULL,
col69 [decimal](25, 6) NULL,
col70 datetimeoffset NULL,
col71 [decimal](25, 6) NULL,
col72 nvarchar NULL,
col73 nvarchar NULL,
col74 datetimeoffset NULL,
col75 datetimeoffset NULL ,
col76 datetimeoffset NULL,
col77 datetimeoffset NULL,
col78 datetimeoffset NULL,
col79 nvarchar NULL,
col80 nvarchar NULL,
col81 nvarchar NULL,
col82 nvarchar NULL,
col83 nvarchar NULL,
col84 nvarchar NULL,
col85 nvarchar NULL,
col86 nvarchar NULL,
col87 nvarchar NULL,
col88 nvarchar NULL,
col89 [bit] NULL,
col90 nvarchar NULL,
col91 nvarchar NULL,
col92 datetimeoffset NULL,
col93 [decimal](25, 6) NULL,
col94 nvarchar NULL,
col95 nvarchar NULL,
col96 [十进制](25, 6) NULL,
col97 [十进制](25, 6) NULL,
col98 [十进制](25, 6) NULL,
col99 [十进制](25, 6) NULL,
col100 [十进制](25 , 6) NULL,
col101 datetimeoffset NULL,
col102 nvarchar NULL,
col103 nvarchar NULL,
col104 nvarchar NULL,
col105 nvarchar NULL,
col106 nvarchar NULL,
col107 datetimeoffset NULL,
col108 datetimeoffset NULL,
col109 varchar NULL
)
WITH
(
DISTRIBUTION = ROUND_ROBIN, HEAP
)

在将时间戳从JVM SimpleDateFormat 域转换 为SQL DW 的 DateFormat 域时，我目前遇到了 Azure SQL DW 的限制。

在我目前的场景中，我们使用 Spark 执行数据清理，当数据作为 CSV 文件写出时，它会以以下格式写出为时间戳：

• “yyyy-MM-dd'T'HH:mm:ss.SSSXXX”
• 2001-07-04 T 12:08:56.235-07:00

查看 DATE_FORMAT 选项下的 DateTimeOffset，不支持上述输出中的粗体T。

有没有办法直接将传入的字符串解释为 DateTime 类型？

我目前的策略是将其加载为 VARCHAR 并稍后进行清理。

作为最后的手段，我们在尝试从非 Windows 环境（Linux、Mac）连接到 Azure SQL DW 时遇到了很多问题，其中 SQL Server Managment Studio (SSMS) 不是一个选项。

核心要求是用于分析的 GUI（DataGrip、SQLWorkbench/J、DBeaver 等）

使用 SQLWorkbench/J、JDK 8 和 sqljdbc42.jar 以及从 Azure 门户获取的以下连接字符串：

在 SQLWorkbench/J 中，我们收到以下错误：

DataGrip 只是在尝试加载模式/表时挂起。

所以目前我们无法通过非 Windows 环境连接到 SQL DW，有没有人遇到过这种情况并有解决方法？

一位 ETL 开发人员在一个相对较大的表上运行 UPDATE 语句并报告它失败了：

com.microsoft.sqlserver.jdbc.SQLServerException：110806；分布式查询失败：分发：[1-60] Microsoft 分布式事务协调器 (MS DTC) 已取消分布式事务。操作被用户取消。

这是由于超出运行时限制而导致客户端发起的中止，还是错误源自数据库？

ETL 开发人员报告说，他们一直在尝试一致地在 ADW 上运行我们的每周和每日流程。虽然在大多数情况下它们毫无例外地执行，但我现在收到此错误：

“由于文件组 'DEFAULT' 中的磁盘空间不足，无法为数据库 'TEMPDB' 分配新页面。通过删除文件组中的对象、向文件组中添加其他文件或为文件组中的现有文件设置自动增长来创建必要的空间。”</p>

与 DWU 设置关联的 TEMPDB 空间是否有限制？

数据库限制为 100 TB（每个门户）且未满。

在Azure Data Warehouse，我有一个Stored Procedure将返回SELECT命令的结果。

如何将Stored Procedure结果推送到临时表中？

我尝试了以下查询，它返回了一条错误消息。

输出消息：

无论如何将数据从 HDInsight 配置单元表导入 SQL Datawarehouse(SQLDW) ？

目前，HDInsight 的主存储是 ADLS（Datalake Store），ADLS 保存整套原始数据。我不想将我的数据移动到存储帐户中，因为 ADLS 在我的情况下充当 Datalake。

哪些选项是这里最可行的选项 -

1. ADF - 它真的支持直接从 Hive 表中读取数据吗？
2. Polybase - 它是否支持 ADLS 而不是存储帐户？

支持的链接 - https://docs.microsoft.com/en-gb/azure/sql-data-warehouse/sql-data-warehouse-overview-load

谢谢

在 Azure 数据仓库的维度表中插入数据时出现以下错误：

110802；发生内部 DMS 错误，导致此操作失败。详细信息：联系管理员寻求帮助时，请使用此错误 ID。EID:(82b090ae0a614abaa5abbe883e49dad1)
[Microsoft][ODBC Driver 13 for SQL Server]Indicator 变量需要但未提供附加错误 <2>: ErrorMsg: [Microsoft][ODBC Driver 13 for SQL Server]Indicator 变量需要但未提供, SqlState: 22002，本地错误：0

由于 Azure DW 不支持变量赋值FOR XML，SELECT除了使用CURSOR?

我正在尝试使用我的 HDInsight 群集创建外部数据源。这样做时，我需要提供位置作为 Hadoop、名称、节点、IP 地址和端口号。

那么，在哪里可以找到 HDInsight 群集上两者的名称、节点、IP 地址、资源管理器位置、IP 地址和端口号？

我已经浏览了Core-site.xml&yarn-site.xml并没有找到任何 HDInsight。

--- 3：创建外部数据源的语法。

-- 位置（必需）：Hadoop 名称节点 IP 地址和端口。
-- 资源管理器位置（可选）：Hadoop 资源管理器位置以启用下推计算。
-- CREDENTIAL（可选）：上面创建的数据库范围凭据。

谢谢。