问题标签 [pytorch-dataloader]

如何在洗牌的同时保持每批中的序列不洗牌？

受到此处提出的问题的启发。

我正在使用 PyTorch 提供的脚本在 imagenet 上训练 Resnet50（为了我的目的，做了一些微不足道的调整）。但是，经过 14 个训练阶段后，我收到以下错误。我在用来运行它的服务器中分配了 4 个 gpus。任何有关此错误的指针将不胜感激。非常感谢！

我想知道使用连接到 MongoDB 的 DataLoader 是否明智，以及如何实现。

背景

我在（本地）MongoDB 中有大约 2000 万个文档。比记忆中的文件多得多。我想在数据上训练一个深度神经网络。到目前为止，我首先将数据导出到文件系统，子文件夹被命名为文档的类。但我觉得这种方法很荒谬。如果数据已经保存在数据库中，为什么要先导出（然后再删除）。

问题一：

我对吗？直接连接到 MongoDB 有意义吗？还是有理由不这样做（例如，数据库通常太慢等）？如果数据库太慢（为什么？），可以以某种方式预取数据吗？

问题2：

如何实现 PyTorch DataLoader？我在网上只找到了很少的代码片段（[1]和[2]），这让我怀疑我的方法。

代码片段

我访问 MongoDB 的一般方式如下。这没什么特别的，我想。

对于下面的训练计划，训练和验证都可以。一旦达到测试方法，我就有CUDA out of memory. 我应该改变什么，以便我有足够的内存来测试。

我有如下的CNNLstm模型。

由于是 CNNLstm 模型，因此模型的数据输入形状为batch_size、time_steps、channels、height、width。 (8, 1, 3, 300, 300)

要使用torch_lr_finder，我们需要运行以下代码。

self.train_loader输出形状为(8, 3, 300, 300). 所以在寻找学习率的过程中，self.model不能使用。

我该如何使用torch_lr_finder这种模型？

如果我们使用Dataset和Dataloader类的组合（如下所示），我必须使用或将数据显式加载到GPU上。有没有办法指示数据加载器自动/隐式地执行它？.to().cuda()

理解/重现场景的代码：

这将输出以下内容；注意 - 没有明确的设备传输指令，数据被加载到CPU上：

一个可能的解决方案是在这个 PyTorch GitHub 存储库中。问题（在发布此问题时仍处于打开状态），但是当数据加载器必须返回多个数据项时，我无法使其工作！

我遇到了那个错误 RuntimeError: multi-target not supported at /pytorch/aten/src/THCUNN/generic/ClassNLCriterion.cu:15____

我的输入是 340 的二进制向量，目标是 8 的二进制向量，对于 '" loss = criterion(outputs, stat_batch)，我得到outputs.shape= [64,8] 和stat_batch.shape=[64,8]

这是模型

我想在将图像传递给数据加载器之前对其进行二值化，我创建了一个运行良好的数据集类。但在__getitem__()我想对图像进行阈值处理的方法中：

然后我尝试调用数据集：

由于我已经在 PIL 对象上应用了阈值，因此我需要在之后应用转换为张量对象，但由于某种原因它崩溃了。有人可以帮助我吗？

我有pytorch 1.7。以下代码与 Pytorch 的对象检测和微调教程页面相同。

但我对以下行有错误

作为NameError: name 'utils' is not defined

有什么问题？

整个代码如下。

在我的数据集中，我torchvision.dataset以前制作的每个类有 6 个类和 23 张图片，ImageFolder并且效果很好。

但我想获得具有相同类别的批量图像。

这就是我想要的标签（批处理数据的类）形式
，但实际上 DataLoader 会这样工作

如何获取每个标签的批次数据？