out-of-memory - Rapidminer 数值到二项式 - RAM 问题

Question

对于 Rapidminer，我有一个包含 3 列（交易 ID、产品描述、价值）和大约 100 万行的数据集。

我正在尝试应用 FP-Growth 和 Create Association，但是由于在我的过程的“数值到二项式”阶段的记忆，这一直失败。我已经分配了 56GB 的 RAM。

“此过程将需要超过最大可用内存量。您可以离开......” 附加示例

我在这里做错了吗？我原以为 56GB 的 RAM 足以应付这个问题。

任何帮助都感激不尽

谢谢。

Answer 1

听起来您使用的是旧版本的 RapidMiner。在 6.5 版中，RapidMiner 的许可模型发生了变化，它不再有任何内存限制。下面的过程在我的机器上运行，在 3 秒内分配了 10gb RAM：

<process version="7.0.001">
  <context>
    <input/>
    <output/>
    <macros/>
  </context>
  <operator activated="true" class="process" compatibility="7.0.001"     expanded="true" name="Process">
    <process expanded="true">
      <operator activated="true" class="generate_data"     compatibility="7.0.001" expanded="true" height="68" name="Generate Data" width="90" x="112" y="34">
        <parameter key="number_examples" value="1000000"/>
        <parameter key="number_of_attributes" value="2"/>
      </operator>
      <operator activated="true" class="numerical_to_binominal" compatibility="7.0.001" expanded="true" height="82" name="Numerical to Binominal" width="90" x="313" y="34">
        <parameter key="min" value="-10.0"/>
      </operator>
      <connect from_op="Generate Data" from_port="output" to_op="Numerical to Binominal" to_port="example set input"/>
      <connect from_op="Numerical to Binominal" from_port="example set output" to_port="result 1"/>
      <portSpacing port="source_input 1" spacing="0"/>
      <portSpacing port="sink_result 1" spacing="0"/>
      <portSpacing port="sink_result 2" spacing="0"/>
    </process>
  </operator>
</process>