1

我听说这个术语用得很多，关于构建 OOMing 或内存不足；这意味着什么？我说的是在 Transforms Python 或 Transforms SQL 中运行数据集构建的上下文。

4

1 回答 1

1

OOM == 内存不足

这是由于 JVM 尝试在堆中分配比可用内存更多的内存或使用 GC（垃圾收集）可以释放的情况下造成的。这可能发生在您的驱动程序中，例如在实现大量查询计划时，或在执行程序中处理具有非常大的数组列或其他无法放入内存的此类数据。

当 JVM + 非 JVM 使用的非堆内存多于未使用的堆内存和 memoryOverhead 的组合（适用于驱动程序和执行程序）时，也会发生这种情况。

这可能是由于没有足够的主 JVM 内存、memoryOverhead 或使用过多的 Python 内存（例如，.collect()在使用 UDF 时在您的驱动程序上或在执行程序上）造成的

于 2021-12-07T15:25:11.860 回答