问题标签 [ray]

似乎您只能通过返回值来记录数据train。在许多工作流程中，直接在训练函数中间保存图像可能更有意义（例如，保存由生成模型或基于视觉的 MDP 采样的图像）。

有没有一种简单的方法可以做到这一点？一个想法是尝试找到日志目录并直接写入它，但这会有问题吗？

这个问题与上一个问题Worker node-status on a Ray EC2 cluster: update-failed ; 将 Ray 用于 EC2 集群时。尽管配置指定了 2 个工作节点，但集群似乎只使用头节点。以下是拖尾监视器输出，其中包含我不理解的重复错误。（我把它放在一个新问题中，因为有很多文字，但它可能与问题无关。）

新的错误跟踪：-

然后是 Thread-7 中的相同异常，然后是：-

……无限重复。

我正在尝试在 python 中运行一个并行进程，其中我必须根据某些条件从一个大数组中提取某些多边形。大数组有 10k+ 个被索引的多边形。

在extract_polygon我传递的函数中（数组，索引）。根据索引，函数必须返回与该索引对应的多边形，或者不根据定义的条件返回。该数组永远不会更改，仅用于根据提供的索引读取多边形。

由于数组非常大，我在并行处理过程中遇到内存不足错误。我怎样才能避免呢？（在某种程度上，如何在多处理中有效地使用共享数组？）

下面是我的示例代码：

ray在这种情况下，我可以使用任何其他库吗？

我正在使用自定义环境来运行 Ray 的run_experiment功能。

我的观察空间是

输入是一个数组，其中包含三个数组，每个数组包含 76 个项目。像这样的东西：

当我尝试在未指定的情况下运行我的火车脚本时，conv_filters我收到此错误：

所以我在我的火车脚本中配置它：

但是当我这样做时，我会收到这个：

顺便说一句，我的输入不是图像，它实际上是时间序列的 3 行，每行有 76 个项目。

我认为我在这条线上错了，"conv_filters": [[3, [1, 1], 1]]但我知道如何解决它，所以我需要帮助......

有没有办法不做卷积？因为我不想在这里丢失信息，这是一个时间序列，每一个小信息都值得。

• 这是我的火车脚本
• 这是观察

我做了一个测试，看看自定义 env 是否可以在没有 ray 的情况下工作，并且确实可以。

我很感激任何帮助

我试图在没有 def 的情况下做到这一点，这是我真的不知道该怎么做的代码我也试图正确地给出缩进

但是当我运行它时，它会抛出错误无效语法

我正在使用 带有 2 个 GPU的异步 Hyperband 调度程序https://ray.readthedocs.io/en/latest/tune-schedulers.html?highlight=hyperband 。我的机器配置有 2 个 GPU 和 12 个 GPU。但是，一次只能进行一次试验，而一次可以同时进行 2 次试验。

我指定

我正在尝试使用配置文件中的 file_mounts 块将少量文件分发到 AWS EC2 上的 Ray 集群中的每个节点：-

文件挂载：{“./”：“./run_files”}

集群仅使用一个主节点启动，run_files 目录的内容已正确复制到该主节点。但是，请求的两个工作节点不会启动。如果我省略 file_mounts 部分，工作人员会启动。Ray 监视器指示在 Anaconda3 安装的 matplotlib 子目录中定位文件 libtcl.so 时出现问题。该文件位于主节点上的正确路径上，因此工作节点上的设置似乎无法正常工作：-

（请注意，这个问题是从问题“工人没有在 EC2 上由 ray 启动”之后出现的，我继续提出一个新问题，因为现在更具体地确定了错误的来源。）

这是我正在运行的示例代码，它生成一个维度矩阵 ( size x size)。矩阵被发送到 FFT（经过多次迭代），它们的范数是所需的结果。由于这是一个测试运行，我将size = 256迭代次数 ( zaxis) 设置为 3。目前处理每个矩阵需要 1-2 分钟。

实际生产运行需要：矩阵512 x 512, 1024 x 1024（或更多），每个迭代大约 25 次，我想知道我是否可以加快这个 python 脚本的速度。

• 简而言之，我生成一个复数矩阵 => 在循环中逐个元素分配非零值 => 发送到 FFT => 计算范数 => 将范数保存在数组中。它工作正常！

• 繁重的工作在以下代码中执行，其中非零值计算为val. 在这里，对实部和虚部分别计算二维积分。理想情况下，我应该能够在多个核心上执行此操作。（*尽管我认为如果可以将不同的非零矩阵元素的分配完全卸载到多个内核，那将非常有效。我在多处理方面没有经验。系统规格： 1700X AMD，8 个内核，32GB RAM 运行 Python3，Win 10；或者 Ubuntu 系统也可提供 12 核，64 GB RAM）

所以，我的问题。有什么好方法可以提高此类操作的速度（希望我能学到更多关于 python 高效编程的知识）。现在我正在检查 ray和multiprocessing。

以下是完整的输入脚本。输出显示在底部。

输出 ：

Ray允许并行处理，我正在尝试将它与scipy模块一起使用。我只是设置 ray，我不确定该行为是否符合预期。但无论如何，这里是脚本和输出。

输出

关于输出的任何建议。

根据这个文件，我必须插入os.environ["MKL_NUM_THREADS"] = "1"以防止numpy使用多个核心。但是我应该在哪里插入这个？numpy在每个演员的构建之前还是之中？应该用在Learner?

例如，如果我有以下三个文件，我应该在哪里插入？

如何检查它是否按预期工作？top这是我真实项目的快照，我os.environ["MKL_NUM_THREADS"] = "1"在main.py. 它有效吗？