问题标签 [pytorch-dataloader]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
56 浏览

python - 在 Pytorch 中定义数据加载器时使用类有什么好处?

我在下面有以下数据加载器:

我在训练循环中使用以下内容迭代它:

有人可以向我解释将 load_dataset() 函数写入类有什么好处吗?原因是我一直在使用上面的模板从我在网上找到的代码中加载数据,但似乎大多数代码库使用class LoaderName(Dataset)后跟定义初始条件和 super()。

谢谢你。

0 投票
2 回答
46 浏览

python - 使用 GAN 自定义图像

我下载了这个图像集https://www.kaggle.com/jessicali9530/stanford-dogs-dataset

并将这些图像文件夹提取到我的数据文件夹中

所以现在是这样的 在此处输入图像描述

下面是我的代码

但是当我运行它时,它给了我这个错误

这意味着问题在于 for 循环。如何更改该 for 循环以匹配我的数据集?

0 投票
1 回答
106 浏览

class - 在 pytorch 框架中工作时,如何在 python 类模块中修复此 NotImplementedError?

大家好,我正在使用 pytorch 处理 CIFAR10 数据集。我开发了一个模型,它工作得非常好,但主要问题出现在运行以下代码时:

运行以下代码时出现以下错误:

有人可以告诉我我该怎么做才能修复此代码。除此之外,之前的所有代码都可以正常工作,并且我使用卷积神经网络制作的模型也可以成功运行,这意味着模型没有问题。我想这个细节可能会有所帮助。可能会注意到此代码在 MNIST 数据集上运行良好。我不知道 CIFAR 数据集有什么问题

0 投票
1 回答
122 浏览

pytorch - PyTorch 自定义 DataLoader 处理多个 CSV

我正在尝试定义一个定制的 PyTorch DataLoader,它能够有效地从不同的巨大CSV 中读取,而无需将它们加载到内存中。问题定义如下。为简单起见,假设我有两个 CSV

为简单起见,我们还假设批量大小为 1。生成器应该产生两个张量:

这是因为对于每个有效索引,我应用的历史窗口等于 2,然后我将样本展平。

按照什么是从多个 csv 文件加载数据的最快方法中的答案,我编写了以下代码:

它非常适用于第一个文件,但是当它切换到第二个 CSV 时会出现问题(由于索引管理错误,存在一些重复)。我该如何解决这个问题?

0 投票
1 回答
112 浏览

python - 将透明图像导入 GAN

我有具有透明度的图像集。

我正在尝试训练 GAN(生成对抗网络)。

我怎样才能保持透明度。我可以从输出图像中看到所有透明区域都是黑色的。

我怎样才能避免这样做?

我认为这被称为“阿尔法通道”。

无论如何,我怎样才能保持我的透明度?

下面是我的代码。

生成器.py

将 torch.nn 导入为 nn 类 G(nn.Module):feature_maps = 512 kernel_size = 4 stride = 2 padding = 1 bias = False

鉴别器.py

0 投票
1 回答
218 浏览

python - 导入透明图像会导致 RuntimeError:张量 a (4) 的大小必须与非单维 0 处的张量 b (3) 的大小相匹配

我正在努力学习人工智能。我有带有 ALPHA 通道(透明度)图像的 GAN(生成对抗网络)代码。所有图像都有 alpha 通道。为了证明我写了image_validator.py如下的小程序

上面的程序不打印任何内容,这意味着所有图像都有 ALPHA 通道。为了测试上面的程序,我添加了没有 ALPHA 通道的单个图像。所以我可以确认所有图像都有 ALPHA CHANNEL。

generator.py的就像下面

discriminator.py的就像下面

我的主程序gan.py如下

但是当我运行我的程序时,我收到了这个错误

我进行了调试,发现问题出在这一行

如果我改变这一行 -->return img.convert('RGBA') 到这个 -->return img.convert('RGB')

程序运行良好。但我可以保证所有图像都有 alpha 通道。因为我的image_validator.py程序什么也没打印

我什至尝试使用具有 alpha 通道的 SINGLE 图像运行我的主程序仍然给出相同的错误。

我究竟做错了什么 ?如何保持图像的透明度?我不想失去我的透明度。

0 投票
1 回答
1180 浏览

python - DataLoader worker 意外退出(pid(s) 48817、48818)

运行我的代码时,我收到此错误消息“ RuntimeError: DataLoader worker (pid(s) 48817, 48818) exited unexpectedly ”我完全不确定从哪里开始解决这个问题。任何指导将不胜感激。代码和回溯发布在下面

追溯

0 投票
0 回答
21 浏览

python - 对平衡数据集进行分层

我有一个我自己记录的数据集。我以一种平衡的方式记录它,所以我为每节课做相同数量的录音。但是,当我将数据拆分为训练、测试和验证时,我不应用stratify.

我的问题是我们应该应用于stratify平衡数据集,还是只适用于不平衡数据集?

我尝试了两种使用stratifyand的方式not to stratify,我发现当我申请时stratify,我的最终平均测试准确率下降了?

谢谢。

0 投票
1 回答
22 浏览

pytorch - 使用 Dataloader 时出现问题

pre_proceed 数据集的短语

上面的操作很普通,但是当我加载数据集的时候,

发生错误, 在此处输入图像描述

0 投票
2 回答
343 浏览

python - 文件“mtrand.pyx”,第 905 行,在 numpy.random.mtrand.RandomState.choice TypeError:'dict_keys' 对象不能被解释为整数

我从 3 年前的旧版本 PyTorch 切换到 CentOS 7(基于 GPU)中的稳定 PyTorch 1.9,并且原始论文代码没有变化,我收到以下错误。有没有快速解决这个问题?

回购问题的链接:https ://github.com/mvasil/fashion-compatibility/issues/25