7

我有一个 350MB 的表，它相当宽，有两个 varchar(2000) 列。通过 SSIS 数据流，需要 60 分钟才能通过 OLEDB“快速加载”目标加载到 Azure SQL DW。我将该数据流上的目标更改为 Azure Blob 目标（来自SSIS Azure 功能包），并且相同的数据流在 1.5 分钟内完成（并且来自该新平面文件的 Polybase 大约需要 2 分钟）。

对于另一个来源，我有一个现有的 1GB 平面文件。SSIS 数据流入 Azure SQL DW 中的 OLEDB 目标需要 90 分钟。将文件复制到 blob 存储，Polybase 加载需要 5 分钟。

SSIS 是 SSIS 2014，它运行在与 Azure SQL DW 相同区域的 Azure VM 上。我知道批量加载比 Polybase 慢得多，因为批量加载通过控制节点进行，但 Polybase 在所有计算节点上并行化。但是这些批量加载数字非常慢。

为了通过批量加载尽可能快地加载到 Azure SQL DW 阶段表，SSIS 数据流和目标的最佳设置是什么？除了我不考虑的任何其他设置之外，我尤其对以下设置的最佳值感兴趣：

  • Stage table geometry = HEAP（我相信是最快的）
  • 数据流设置：
    • DefaultBufferMaxRows = ?
    • 默认缓冲区大小 = ?
  • OLEDB 目标设置
    • 数据访问模式 = 表或视图 - 快速加载
    • 保持身份 = 未选中
    • 保持空值 = ?
    • 表锁 = ?
    • 检查约束 = ?
    • 每批次的行数 = ?
    • 最大插入提交大小 = ?
4

1 回答 1

7

Polybase 无疑是加载到 SQL DW 的最快方式。您建议的 HEAP 也是最快的目标类型。查看 SQL CAT 团队关于使用 SSIS 加载到聚集列存储的最佳实践的这篇文章。这里工程团队的建议是尝试调整 DefaultBufferMaxRows（默认为 10K）、DefaultBufferSize（默认为 10 MB）、Rows per batch 和 Maximum insert commit size。

许多年前，我对我们的本地版本 Azure SQL 数据仓库（PDW，也称为并行数据仓库或 APS，设备平台系统）进行了广泛的 SSIS 性能测试。在那次测试中，我经常发现本地 CPU 是瓶颈，特别是单核。如果您按内核监视 CPU 利用率，则可以使用 Perfmon 清楚地看到这一点。

我可以做几件事来提高吞吐量。如果您的 CPU 受限于单个内核，则运行多个并发 SSIS 包将使您能够利用更多内核并运行得更快。为此，您需要将源文件分成多个文件，并且目标应该是多个表。如果您对目标表进行分区并且每个负载都包含不同的分区，则可以在加载数据后使用分区切换以将其合并到单个表中。

您也可以尝试在您的包中创建多个数据流，这将实现与并行运行多个 SSIS 加载器相同的性能，但我相信您仍然需要将源文件分解为多个文件以及目标、多个表以最大化吞吐量。

我尝试的另一种方法是在一个数据流中使用并行加载器。虽然这比一个加载器快，但它比我上面提到的前两种方法慢。

我还发现，如果我让 SSIS 进行 char 到二进制 char 的转换，这会加快加载速度。此外，使用 SQL 源比使用文本文件作为源更快。

您可以尝试的另一件事是SSIS Balanced Data Distributor。BDD 是另一种在源系统上利用多个内核而无需运行多个并发 SSIS 包的方法。

当您运行 SSIS 包时，请使用 perfmon 监控 CPU，以查看您是在单个内核上运行还是分布在多个内核上。如果您使用的是单个核心，那么这很可能是您的瓶颈。

此外，关于 VARCHAR(2000) 列。如果您并不真正期望传入的数据是这个大小，那么请减小 VARCHAR 列的大小。虽然我们将来会改进这种行为，但目前我们的数据移动服务会将您的 VARCHAR 数据填充到固定长度。这当然意味着如果最宽的值远小于 2000 个字符，则移动的数据多于所需的数据。

我希望这有帮助。

于 2016-03-26T05:57:40.003 回答