12

我正在使用 RStan 从大量高斯过程 (GP) 中进行采样，即使用函数 stan()。对于我适合的每个 GP，都会加载另一个 DLL，这可以通过运行 R 命令看到

getLoadedDLLs()

我遇到的问题是，因为我需要安装这么多独特的 GP，我超过了可以加载的 DLL 的最大数量，此时我收到以下错误：

Error in dyn.load(libLFile) : 
unable to load shared object '/var/folders/8x/n7pqd49j4ybfhrm999z3cwp81814xh/T//RtmpmXCRCy/file80d1219ef10d.so':
maximal number of DLLs reached...

据我所知，这是在基本 R 代码的 Rdynload.c 中设置的，如下所示：

#define MAX_NUM_DLLS 100

所以，我的问题是，可以做些什么来解决这个问题？从源代码构建具有更大 MAX_NUM_DLLS 的 R 不是一种选择，因为我的代码将由不熟悉该过程的合作者运行。我尝试过使用 dyn.unload() 卸载 DLL 的简单方法，希望在再次需要时重新加载它们。卸载工作正常，但是当我再次尝试使用 fit 时，R 毫不奇怪地崩溃并出现如下错误：

*** caught segfault ***
address 0x121366da8, cause 'memory not mapped'

我也尝试过分离 RStan，希望 DLL 会被自动卸载，但即使在卸载包后它们仍然存在（正如预期的那样，在分离的帮助中给出以下内容：“分离通常不会卸载任何动态加载的编译代码（DLL）”）。

从这个问题来看，可以在不重新启动 R 的情况下卸载 Rcpp 包 DLL 吗？，似乎library.dynam.unload()在解决方案中可能有一些作用，但我没有成功使用它来卸载 DLL，而且我怀疑在卸载 DLL 后我会遇到与以前相同的段错误。

编辑：添加一个最小的、功能齐全的例子：

R代码：

require(rstan)

x <- c(1,2)
N <- length(x)

fits <- list()
for(i in 1:100)
{
    fits[i] <- stan(file="gp-sim.stan", data=list(x=x,N=N), iter=1, chains=1)
}

此代码要求以下模型定义位于文件 gp-sim.stan 的工作目录中（此模型是 Stan 包含的示例之一）：

// Sample from Gaussian process
// Fixed covar function: eta_sq=1, rho_sq=1, sigma_sq=0.1

data {
  int<lower=1> N;
  real x[N];
}
transformed data {
   vector[N] mu;
   cov_matrix[N] Sigma;
   for (i in 1:N) 
     mu[i] <- 0;
   for (i in 1:N) 
     for (j in 1:N)
       Sigma[i,j] <- exp(-pow(x[i] - x[j],2)) + if_else(i==j, 0.1, 0.0);
 }
 parameters {
   vector[N] y;
 }
 model {
   y ~ multi_normal(mu,Sigma);
 }

注意：此代码需要相当长的时间才能运行，因为它正在创建约 100 个 Stan 模型。

4

2 回答 2

9

我不能谈论有关 dll 的问题，但您不需要每次都编译模型。您可以编译一次模型并重复使用它，这不会导致此问题，并且会加快您的代码速度。

该函数stan是一个包装器，用于stan_model编译模型和sampling从模型中抽取样本的方法。您应该运行stan_model一次以编译模型并将其保存到对象中，然后使用该sampling对象上的方法来绘制样本。

require(rstan)

x <- c(1,2)
N <- length(x)

fits <- list()
mod <- stan_model("gp-sim.stan")
for(i in 1:100)
{
    fits[i] <- sampling(mod, data=list(x=x,N=N), iter=1, chains=1)
}

这类似于 Rstan wiki中讨论的运行并行链的问题。您的代码可以通过将 for 循环替换为并行处理采样的东西来加速。

于 2014-07-18T22:35:15.360 回答
1

这是我用来连续运行几个 stan 模型的工具（Win10，R 3.3.0）。

我不仅需要卸载 dll 文件，还需要删除它们和其他临时文件。然后，正如 Ben 所建议的，我的文件名与 stan 对象中的文件名不同。

 dso_filenames <- dir(tempdir(), pattern=.Platform$dynlib.ext)
  filenames  <- dir(tempdir())
  for (i in seq(dso_filenames))
    dyn.unload(file.path(tempdir(), dso_filenames[i]))
  for (i in seq(filenames))
    if (file.exists(file.path(tempdir(), filenames[i])) & nchar(filenames[i]) < 42) # some files w/ long filenames that didn't like to be removeed
      file.remove(file.path(tempdir(), filenames[i]))
于 2016-06-09T13:30:17.620 回答