2

我正在使用 dask.distributed 运行模拟。我的模型是在延迟函数中定义的，我堆叠了几个实现。此代码片段中给出了我所做工作的简化版本：

import numpy as np
import xarray as xr
import dask.array as da
import dask
from dask.distributed import Client
from itertools import repeat 

@dask.delayed
def run_model(n_time,a,b):
    result = np.array([a*np.random.randn(n_time)+b])
    return result

client = Client()

# Parameters
n_sims = 10000
n_time = 100
a_vals = np.random.randn(n_sims)
b_vals = np.random.randn(n_sims)
output_file = 'out.nc'

# Run simulations
out = da.stack([da.from_delayed(run_model(n_time,a,b),(1,n_time,),np.float64) for a,b in zip(a_vals, b_vals)])

# Store output in a dataframe
ds = xr.Dataset({'var1': (['realization', 'time'], out[:,0,:])},
             coords={'realization': np.arange(n_sims),
                     'time': np.arange(n_time)*.1})

# Save to a netcdf file -> at this point, computations will be carried out
ds.to_netcdf(output_file)

如果我想运行大量模拟，我会收到以下警告：

/home/user/miniconda3/lib/python3.6/site-packages/distributed/worker.py:840: UserWarning: Large object of size 2.73 MB detected in task graph: 
  ("('getitem-32103d4a23823ad4f97dcb3faed7cf07', 0,  ... cd39>]), False)
Consider scattering large objects ahead of time
with client.scatter to reduce scheduler burden and keep data on workers

    future = client.submit(func, big_data)    # bad

    big_future = client.scatter(big_data)     # good
    future = client.submit(func, big_future)  # good
  % (format_bytes(len(b)), s))

据我了解（从this和this question），警告提出的方法有助于将大数据输入函数。但是，我的输入都是标量值，因此它们不应占用近 3MB 的内存。即使该函数run_model()根本不接受任何参数（因此没有传递参数），我也会收到相同的警告。

我还查看了任务图，看看是否有某个步骤需要加载大量数据。对于三个实现，它看起来像这样： 代码的任务图

因此，在我看来，每个实现都是单独处理的，这应该使要处理的数据量保持在低水平。

我想了解产生大对象的实际步骤是什么，以及我需要做什么才能将其分解成更小的部分。

4

1 回答 1

2

在这种情况下，该消息具有一定的误导性。该问题通过以下方式证明：

> len(out[:, 0, :].dask)
40000
> out[:, 0, :].npartitions
10000

并且该图的腌制大小（其头部是getitem消息中的关键）是〜3MB。通过为计算的每个元素创建一个 dask-array，您最终会得到一个具有与元素一样多的分区的堆叠数组，并且模型运行操作和项目选择以及存储操作正在应用于每个单独并存储在图中。是的，它们是独立的，很可能整个计算都会完成，但这都是非常浪费的，除非模型制作函数在每个输入标量上运行相当长的时间。

在您的实际情况中，内部数组实际上可能比您提供的单元素版本大，但是在对数组执行 numpy 操作的一般情况下，在工作人员上创建数组是正常的（随机或一些加载功能）并在大小> 100MB的分区上运行。

于 2018-08-27T14:32:29.173 回答