dask - 分布式工作人员的 Dask 工作人员资源

Question

当您在分布式多处理工作者中定义工作者资源（ http://distributed.readthedocs.io/en/latest/resources.html ）时，是否为所有进程定义了资源池？

例如，在我正在运行的工作主机上：

dask-worker --nprocs 8 --resources HOST=1

现在，如果我提交需要的任务，resources={"HOST":1}这是否保证该机器上只有一个进程会在特定时刻执行此任务？

Answer 1

resources 关键字均匀地应用于所有进程。 所有工人都将获得单一HOST资源。一般来说，对于机构集群上的成熟部署，我建议避免使用--nprocs关键字，而是单独创建每个 dask-worker 进程；这更明确。

dask-worker scheduler-address:8786 --resources
dask-worker scheduler-address:8786
dask-worker scheduler-address:8786
dask-worker scheduler-address:8786
dask-worker scheduler-address:8786
dask-worker scheduler-address:8786
dask-worker scheduler-address:8786
dask-worker scheduler-address:8786