3

我正在使用dask.distributed调度程序和工作人员来处理集群上的一些大型显微镜图像。我每个节点运行多个工作人员（1 个核心 = 1 个工作人员）。节点中的每个核心共享 200Gb 的 RAM。

问题
我想将写入实例减少到集群的共享 HD。

问题

  1. 这个想法是创建一个在节点内共享的字典，用处理过的图像填充它，直到大小达到 RAM 的 80% 左右，然后字典中的每个图像将作为单独的文件保存到 HD。是否可以在节点中的工作人员之间共享字典？
  2. 字典中的每个图像都将写入不同的文件。将它们编写为遍历字典或 i/o 调用的速度/和数量将与在处理期间同时编写一张图像相同吗？

我没有当前正在运行的示例，因为我不知道如何在同一节点上的工作人员之间共享变量。

谢谢

4

0 回答 0