问题标签 [pytorch-dataloader]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
341 浏览

pytorch - 在torchtext bucketiterator中获取填充前每个句子的长度

在 torchtext bucketiterator 中填充之前是否可以获取每个句子的长度:

bucketiterator 数据加载器:

就像使用 pytorch 数据加载器时一样:

pytorch 数据加载器:

0 投票
1 回答
63 浏览

python - 尽管“小批量”另有说明,但目标大小和输入大小不匹配

我对 Pytorch 比较陌生,并且一直在 MNIST 数据集上训练一个 AutoEncoder 模型。在训练模型之前,我有三个数据加载器用于训练集、验证集和测试集。

这三个小批量具有以下大小:

但是,当我运行训练循环(在验证阶段)时,验证数据的形状不匹配,并且出现以下错误:

ValueError:不推荐使用与输入大小 (torch.Size([128, 784])) 不同的目标大小 (torch.Size([96, 784]))。

简单模型看起来像

训练循环如下所示:

错误发生在上述代码的最后一行。我一直无法弄清楚重塑出现在哪里,这会导致一些不匹配。我是不是瞎了眼,没有看到明显的错误??

0 投票
1 回答
167 浏览

python - Pytorch 的 DataLoader 中的采样器参数

在使用 Pytorch 的 DataLoader 实用程序时,在采样器中的目的是RandomIdentitySampler什么?而且RandomIdentitySampler里面有一个说法instances。是否instances取决于工人的数量?如果有 4 个工人,那么也应该有 4 个实例吗?

以下是代码块:

0 投票
1 回答
378 浏览

pytorch - 如何在 Dataloader 类之外的 pytorch 中创建数据预处理管道?

我正在尝试为具有 40 个特征的数据创建一个模型,这些特征必须分为 10 个类别。我是 PyTorch 的新手,这是我在其中的第一个项目。

我得到了一个自定义数据集类(我不允许更改),如下所示:

我已经对数据进行了一些预处理,例如标准化,然后训练并保存了模型。由于不允许更改数据集类,因此我在其外部进行了更改,然后使用了该DataLoader方法。预处理如下:

在此之后,我定义了培训和测试功能(并删除了打印语句,因为如果我这样做,自动评分器将无法对我的作业评分)如下:

即使这样做了,自动评分器仍然无法对我的代码进行评分。我主要认为这可能是因为我在将数据输入模型的方式上出错了,但我无法缩小问题的确切范围以及如何纠正它。由于我是 pytorch 的新手,我正在研究如何进行预处理,但所有这些都涉及数据集类,所以我不知道如何去做。

我的模型如下:

我得到的一条指令是他们写了:

0 投票
1 回答
2281 浏览

python - TypeError: conv2d(): argument 'input' (position 1) must be Tensor, not str

当我尝试训练模型时,出现以下错误:

TypeError: conv2d(): argument 'input' (position 1) must be Tensor, not str

我正在使用的代码是:

完整的追溯是:

当我尝试调试代码时,X_trainY_train按住“数据”和“目标”。我不明白为什么 for 循环中的枚举(数据加载器)没有获取张量值。

否则,数据加载器中存在值。如果数据集中的每个张量行前面都有“数据”和“目标”前缀,我该如何删除它。请提出任何解决方案。

0 投票
1 回答
67 浏览

pytorch - pytorch Dataloader - 如果输入数据返回多个训练实例

问题

我有以下问题:

我想使用 pytorchs DataLoader(与此处类似),但我的设置有所不同:

在我的数据文件夹中,我有图像(让我们称它们image_total为不同街道情况的图像,我想使用裁剪图像(image_crop_[idx]在离相机足够近的人周围调用。因此可能会发生某些图像给我一个或多个裁剪图像而其他图像给我零图像,因为它们没有显示任何人或者它们距离很远。

由于我有很多图像,我想让实现尽可能高效。

我希望可以使用这样的东西:

我想加载image_total并检查其中是否有有用的作物。如果是这样,我会提取裁剪的图像并得到一个类似的列表[image_crop_0, image_crop_1, image_crop_2,...]

现在我的问题是:这可能与 pytorchs DataLoader 兼容吗?我看到的问题是我的类的 ```` getitem ```-method 将零返回到任意实例。我想使用恒定的批量进行训练。

注意事项

  • 也许 DataLoader 支持这个(我没有找到)
  • 我必须使用缓冲区或类似的东西
  • 后备方案是预处理数据,但这不是最有效的解决方案
0 投票
2 回答
109 浏览

python-3.x - 我在这里缺少什么,使用 ImageFolder 获取完整文件夹名称作为 MNIST 双数据集图像的标签?

我想使用dataset.ImageFolder创建一个图像数据集。

我当前的图像目录结构如下所示:

1在火车图像中,我的标签包含 00、01 等子文件夹。在每个文件夹中,图像包含与每个标签对应的两位数字

这是我使用的代码,后面是标签没有的输出。与图像匹配

这里的路径

在此处加载数据

数据加载器

这是随机训练图像的绘图

如您在此处看到的,标签与图像不同 标签与图像不同

每个子文件夹都包含一个与标签关联的唯一标签 子文件夹 iamge

这里是 01 子目录中的图像01

使用索引后的最后更新。还是同样的问题,更新索引后

0 投票
1 回答
448 浏览

pytorch - PyTorch - 以图像作为标签导入数据集

我有一个数据集,其中包含作为输入的图像和作为图像的标签/目标。文件夹中的结构如下:

我目前尝试使用 torchvisions 数据集中的“ImageFolder”来加载图像,如下所示:

不过如下图:

标签不是图像,而是指示或类似的东西。有没有一种方便的方法来导入具有上述结构的数据集?

0 投票
1 回答
710 浏览

pytorch - 如何在 PyTorch Lightning 中将数据集从 prepare_data() 获取到 setup()

我使用PyTorch LightningNumPyprepare_data()方法制作了自己的数据集。DataModules现在,我想将数据传递给setup()方法以拆分为训练和验证。

0 投票
3 回答
166 浏览

python - 是否建议使用相同的 torch Dataset 类进行训练和预测?

我最近开始使用 PyTorch,我喜欢它的面向对象风格。但是,我想知道在预测模型时最好和建议的工作流程是什么。我想使用我编写的自定义数据集类,用于训练和验证我的模型。这个类是一个地图风格的数据集,因此我实现__getitem__了返回图像和目标的方法:

但是,当我使用此类进行预测时,我没有任何返回目标。我目前的解决方法是

但是,我想知道是否有更好的方法来做到这一点。同时,由于感觉有点不自然,我开始想知道使用同一个类进行训练和预测是否是可取的(应该是,但我的解决方案的笨拙让我想知道)。当然,我根本无法返回元组,只能返回第一个元素,但这仍然需要 if-else。