1

bash 如何等待进程替换中使用的子shell 在以下构造中完成？（这当然是从我正在使用的真正的 for 循环和子shell 中简化的，但它很好地说明了意图。）

for i in {1..3}; do
    echo "$i"
done > >(xargs -n1 bash -c 'sleep 1; echo "Subshell: $0"')
echo "Finished"

印刷：

Finished
Subshell: 1
Subshell: 2
Subshell: 3

代替：

Subshell: 1
Subshell: 2
Subshell: 3
Finished

如何让 bash 等待这些子shell 完成？

更新

使用进程替换的原因是我想使用文件描述符来控制打印到屏幕上的内容以及发送到进程的内容。这是我正在做的更完整的版本：

for myFile in file1 file2 file3; do
    echo "Downloading $myFile"     # Should print to terminal
    scp -q $user@$host:$myFile ./  # Might take a long time
    echo "$myFile" >&3             # Should go to process substitution
done 3> >(xargs -n1 bash -c 'sleep 1; echo "Processing: $0"')
echo "Finished"

印刷：

Downloading file1
Downloading file2
Downloading file3
Finished
Processing: file1
Processing: file2
Processing: file3

处理每个可能需要比传输更长的时间。文件传输应该是连续的，因为带宽是限制因素。我想在收到文件后开始处理每个文件，而不是等待所有文件都传输。处理可以并行完成，但实例数量有限（由于内存/CPU 有限）。因此，如果第五个文件刚刚传输完毕，但只有第二个文件完成了处理，那么第三个和第四个文件应该在第五个文件处理之前完成处理。同时第六个文件应该开始传输。

4

5 回答 5

4

Bash 4.4 允许您收集进程替换的 PID $!，因此您可以实际使用wait，就像使用后台进程一样：

case $BASH_VERSION in ''|[123].*|4.[0123])
  echo "ERROR: Bash 4.4 required" >&2; exit 1;;
esac

# open the process substitution
exec {ps_out_fd}> >(xargs -n1 bash -c 'sleep 1; echo "Subshell: $0"'); ps_out_pid=$!

for i in {1..3}; do
  echo "$i"
done >&$ps_out_fd

# close the process substitution
exec {ps_out_fd}>&-

# ...and wait for it to exit.
wait "$ps_out_pid"

除此之外，请考虑flock-style 锁定 - 尽管要注意比赛：

for i in {1..3}; do
  echo "$i"
done > >(flock -x my.lock xargs -n1 bash -c 'sleep 1; echo "Subshell: $0"')

# this is only safe if the "for" loop can't exit without the process substitution reading
# something (and thus signalling that it successfully started up)

flock -x my.lock echo "Lock grabbed; the subshell has finished"

也就是说，鉴于您的实际用例，您想要的应该看起来更像：

download() {
  for arg; do
    scp -q $user@$host:$myFile ./ || (( retval |= $? ))
  done
  exit "$retval"
}
export -f download

printf '%s\0' file1 file2 file3 |
  xargs -0 -P2 -n1 bash -c 'download "$@"' _
于 2018-07-18T20:44:56.317 回答
3

你可以让子shell创建一个主shell等待的文件。

tempfile=/tmp/finished.$$
for i in {1..3}; do
    echo "$i"
done > >(xargs -n1 bash -c 'sleep 1; echo "Subshell: $0"'; touch $tempfile)
while ! test -f $tempfile; do sleep 1; done
rm $tempfile
echo "Finished"
于 2018-07-18T20:43:36.687 回答
2

您可以使用 bashcoproc保存一个可读的文件描述符，以便在所有进程的子进程死亡时关闭：

coproc read                  # previously: `coproc cat`, see comments
for i in {1..3}; do
    echo "$i"
done > >(xargs -n1 bash -c 'sleep 1; echo "Subshell: $0"')
exec {COPROC[1]}>&-          # close my writing side
read -u ${COPROC[0]}         # will wait until all potential writers (ie process children) end
echo "Finished"
于 2018-07-18T21:01:49.350 回答
1

如果要在存在攻击者的系统上运行，则不应使用可以猜到的临时文件名。因此，基于@Barmar 的解决方案，这里可以避免这种情况：

tempfile="`tempfile`"
for i in {1..3}; do
    echo "$i"
done > >(xargs -n1 bash -c 'sleep 1; echo "Subshell: $0"'; rm "$tempfile")
while test -f "$tempfile"; do sleep 1; done
echo "Finished"
于 2018-08-14T09:21:42.700 回答
0

我认为你让它变得比它需要的更复杂。这样的事情之所以有效，是因为内部 bash 执行是主进程的子进程，等待会导致进程等到一切都完成后再打印。

for i in {1..3}
do
    bash -c "sleep 1; echo Subshell: $i"  &
done
wait
echo "Finished"

Unix 和衍生产品 (Linux) 有能力等待子（子）进程，但不能等待孙子进程，例如在您的原始进程中发生的。有些人会认为您返回并检查完成的轮询解决方案是粗俗的，因为它不使用此机制。

捕获 xargs PID 的解决方案并不粗俗，只是太复杂了。

于 2018-10-20T21:33:13.433 回答