0

我有以下问题：我想使用 pathos.multiprocessing 中的 amap。

import pathos as pt

class Foo:

    def __init__(self):
        pass

    def f(self, a, b, c):
        return a + b + c

    def g(self):  
        pool = pt.multiprocessing.ProcessPool()
        def _h(a, b, c):
            k = self.f(a, b, c)
            return k/2
        result = [pool.amap(_h, (i, j, k)) for i in range(3) for j in range(5) for k in range(7)]
        return result

a = Foo()
b = a.g()
b[0].get()

尽管我可以在 f 中做任何事情，但必须有这两个函数 f 和 g。

如果我运行此代码，我会得到 g 需要 3 个参数，但给出了一个。

TypeError: _h() takes exactly 3 arguments (1 given)

我怎样才能解决这个问题？

4

2 回答 2

2

因为amap定义为：

149     def amap(self, f, *args, **kwds): # register a callback ?
...
152         return _pool.map_async(star(f), zip(*args)) # chunksize

源代码中有一个用法示例：

pool.amap(pow, [1,2,3,4], [5,6,7,8])

作为您的l输入：

l = [(i, j, k) for i in range(3) for j in range(5) for k in range(7)]

你可以转置你的输入：

results = pool.amap(_h, *map(list, zip(*l)))

或使用应该更快的生成器：

def getter(n):
    for e in l:
        yield e[n]
result = pool.amap(_h, *[getter(n) for n in range(3)])

或者，使用apipeapi 代替：

results = [pool.apipe(_h, l)]

当然，一旦你有了想法，你就可以让输入更适合它的界面。但是为什么不直接使用呢multiprocessing.pool.async_apply，它的界面和你一开始所期望的完全一样。

于 2017-10-20T03:34:40.480 回答
0

我知道这看起来很奇怪，但是我喜欢将数据作为可迭代传递的想法。

要实现您正在寻找的内容，您必须将元素作为单独的可迭代项传递。这是一个例子：

def g(self):  
    pool = pt.multiprocessing.ProcessPool()
    def _h(a, b, c):
        k = self.f(a, b, c)
        return k/2
    result = [pool.amap(_h, (i,),( j,),(k,))) for i in range(3) for j in range(5) for k in range(7)]
    return result

请注意这里传递参数的奇怪方式：pool.amap(_h, (i,),( j,),(k,))

如果您稍微跟踪一下 _pool.map_async(star(f), zip(*args))调用，您就会明白为什么会这样做。

通常，您可能希望使用不同的参数多次调用您的函数。这是我为证明它所做的工作：

def g(self):  
    pool = pt.multiprocessing.ProcessPool()
    def _h(a, b, c):
        print('a: {0} b: {1}. c: {2}'.format(a, b, c))
        k = self.f(a, b, c)
        return k/2
    return [pool.amap(_h, (1,4), (2,5), (3,6))]

即使我明确地调用了一次函数，它也被执行了两次。输出：

a: 1 b: 2. c: 3
a: 4 b: 5. c: 6

希望这可以帮助。

于 2017-10-19T21:54:19.787 回答