问题标签 [pytorch-dataloader]

我正在尝试使用此数据集在 PyTorch 中创建自定义数据集。它的形状为 (X, 785)，X 是样本数，每一行包含索引 0 处的标签和 784 个像素值。这是我的代码：

运行时，我收到以下错误：

这究竟是从哪里来的？在对象创建期间是否以某种方式未读取模式参数？我的最终目标是按照本教程创建一个用于对符号字符进行分类的神经网络。

mode我尝试在对象创建过程中明确提及关键字。这就是我得到的-

所以我想在分类问题上实现一个神经网络。互联网上的示例是实现图像分类问题，他们通常从库中加载数据集，但我想在非图像分类问题上实现它。（3个班）

所以我有一个 12000x13 的数据框（12000 个点，12 个特征，最后一列是目标变量）。我想在这个数据集上训练我的神经网络。首先，我在将此数据帧转换为适当的维度（和大小）张量时遇到问题，然后是如何定义 torch_loader 和 test_loader。我们是先分离目标变量还是 Pytorch 自己处理？

一旦我输入了 Pytorch 所需的格式，我在定义网络结构时将不会遇到任何问题，因为这将类似于 Internet 上的图像分类问题。

PS：主要是在互联网上，他们提供了一个在 MNIST 数据集上实现的示例，我无法找到我的问题的答案

我目前正在关注 ASRfromScratch 教程，但我正在尝试使其与 Fluent Speech Dataset https://fluent.ai/fluent-speech-commands-a-dataset-for-spoken-language-understanding-research/一起使用。我能够毫无问题地通过 Tokenizer 部分和 Language Model 部分，但我正在努力处理 SpeechRecognizer 部分。我修改了 dataio_prepare 函数，但我不确定它是否是正确的方法：

为了澄清，.csv 文件看起来像这样：

我还删除了与 prenaining 阶段相对应的行，因为我不知道如何使它们与我自己的数据集一起使用。

我的问题是拟合模型阶段一直卡在要处理的第一个数据上，我不知道如何解决它：

另外，我的 train.yaml 看起来像这样：

而已 ！如果您对如何执行此操作有想法，或者您对 SpeechBrain 库感到满意，请让我现在！感谢您阅读我的帖子

我的代码是：

我得到错误：

“collat​​e_fn=utils.collat​​e_fn”显示错误“名称 'utils' 未定义”。“添加火炬后，模块'torch.utils'没有属性'collat​​e_fn'错误。

我正在尝试在 commonsense_qa 数据集上使用转换器。我想使用数据作为

question，option1 question，option2等对于每个选项我也会为每个输入传递问题。对于 input_ids、attention_mask、decoder_input_ids、decoder_attention_mask，我执行以下操作。最大长度 = 128

和数据加载器是

教练是

我收到以下错误：

我正在从事多项选择质量检查。我正在使用为 SWAG 数据集实现的拥抱脸/变压器的官方笔记本。

我想将它用于其他多项选择数据集。因此，我添加了一些与数据集相关的修改。所有代码都在notebook中给出。

SWAG 数据集包含以下列，包括“标签”。

我要使用的数据集具有以下列，包括目标的“answerKey”。

错误在数据加载器中给出，即

在以下行中给出了错误：

错误是在 trainer.train() 中获得的

我不知道是什么导致了错误。我认为它与目标键有关。但我无法解决。有任何想法吗？

谢谢，

当我处理视频及其音频时，我遇到了一个错误：

下面的list_samlple_file 就是train.txt 的内容。每一行与第一行“/home/yzx/lunwen/datasets/FAIR-PLAY/binaural_audios/000383.wav,/home/yzx/lunwen/datasets/FAIR-PLAY/frames/000383”的格式相同。前一个路径是每个音频的路径，后一个是每个视频的帧的文件夹。我在每10秒的视频中每秒提取10帧。它们在Psedo_dataset.py中拆分为'audio_file'和'img_folder' .我检查了这条路径是真的。但我不知道为什么会产生错误。我需要你的帮助。

clss Augment_dataset.py 的内容是：

Psedo_dataset.py 的内容是：

我有一个图像数据集，每个图像都有一个附加属性“channel_no”。每个图像都应根据其 channel_no 使用 nn 层进行处理：

问题是当批次包含多个图像时，forward() 函数会获取一个以该批次图像作为输入的 Torch 张量，并且每个图像具有不同的 channel_no。所以不清楚如何分别处理每个图像。

以下是批次只有 1 张图片的情况的代码：

是否可以使用 batch size > 1 分别处理每个图像？

在这个 PyTorch 模型中，我有两个具有两种不同模式的流数据，它们同时输入到模型中。数据流是顺序数据块。所以我有模态一M1 = [[1,1,1,1],[2,2,2,2],[3,3,3,3],[4,4,4,4],[5,5,5,5]]和模态二M2 = [[11,11,11,11],[22,22,22,22],[33,33,33,33],[44,44,44,44]]。我想用一个系统来训练这个模型，在训练过程中，成批的顺序数据将随机包含部分或全部信息。

所以在训练过程中会有三种可能性：M1并且M2将拥有其完整的序列数据，或者M1将被裁剪，这意味着序列数据信息将被设置为零（例如M1 = [[0,0,0,0],[0,0,0,0],[0,0,0,0],[0,0,0,0],[0,0,0,0]]），同时M2将拥有其完整的序列数据信息，或者M2将被裁剪这意味着 in 中的顺序数据信息M2将设置为零，而M1将具有其完整的顺序数据信息。

是否有任何 PyTorch 功能可以自动为我执行此操作，或者有人知道什么是实现此功能的好方法吗？

我目前正在做一个图像分割项目，我正在使用 Labelbox 来注释我的训练/验证集。

标记后，导出会提供一个 JSON 元数据文件。

如何将此 JSON 文件转换为掩码？这里的想法是拥有成对的图像和掩码，然后进行模型训练。

编辑 ：

Labelbox 导出具有以下结构：

例如，我想提取 LabelIDs 图像，这样我就可以拥有与 CamVid 相同的数据集结构。