python - 函数能否知道它们是否已经在 Python 中进行了多处理（joblib）

Question

我有一个使用多处理（特别是 joblib）的函数来加速使用多个内核的慢例程。效果很好；没有问题。

我有一个使用多处理的测试套件（目前只是 multiprocessing.Pool() 系统，但可以将其更改为 joblib）来独立运行每个模块的测试功能。效果很好；没有问题。

问题是我现在已经将多处理功能集成到模块的测试套件中，以便池进程运行多处理功能。我想让它让内部函数知道它已经被多处理并且不会启动更多自己的分支。目前内部进程有时会挂起，但即使没有，显然在已经并行的例程中进行多处理也没有任何好处。

我可以想到几种方法（使用锁定文件，设置某种全局变量等）来确定我们所处的状态，但我想知道是否有一些标准的方法来解决这个问题（在 PY 多处理中）或在joblib中）。如果它只适用于 PY3，那很好，但显然也适用于 2.7 或更低版本的解决方案会更好。谢谢！

score 3 · Accepted Answer

来自 0.8.3-r1 的两件：

# Set an environment variable to avoid infinite loops
os.environ[JOBLIB_SPAWNED_PROCESS] = '1'

不知道为什么他们从引用环境的变量转到环境。本身..但正如你所看到的。该功能已在 joblib 中实现。

# We can now allow subprocesses again
os.environ.pop('__JOBLIB_SPAWNED_PARALLEL__', 0)

在这里您可以选择其他版本，如果这更相关： http:
//pydoc.net/Python/joblib/0.8.3-r1/

score 2 · Accepted Answer

具体问题的答案是：我不知道现成的实用程序。

最小（*）核心重构将向当前创建子进程的函数添加命名参数。默认参数将是您当前的行为，而其他值将切换为与您运行测试的方式兼容的行为（**）。

（*：可能还有其他更好的设计替代方案可供考虑，但我们没有足够的信息）（**：有人可能会说引入条件行为也需要对其进行测试，我们又回来了平方一个...）

score 0 · Accepted Answer

检查multiprocessing.current_process().daemon- 如果当前进程是衍生进程，它将返回 True。（回答自己的问题）

3 回答 3