我正在使用 IBM 的 LSF 平台并行运行我的代码。目前,这需要“手动”将代码分解为作业数组;代替:
for i in range(100):
x[i] = f(i)
我分发f
了 100 多名工人,然后“手动”将他们所有 100 个不同的结果收集到x
.
我试图了解是否dask.distributed
可以用作我的模拟内核(在本例中为 IPython 内核)和 LSF 调度程序之间的“桥梁”,以一种以自动方式分发和收集计算的方式。
我找不到有关此的任何文档...任何帮助将不胜感激!