python - 如何在自定义 pytorch 数据集中组合两个图像特征？

Question

我正在尝试构建一个自定义 pytorch 数据集，其中两个图像作为特征，一个图像作为输出。

以下是图像在文件系统中的方式：

./feature1/image1.jpeg #64x64px
./feature2/image1.jpeg #64x64px
./output/image1.jpeg #64x64px

我的目标是创建一个将作为输入的神经网络

feature1 + feature2 => output. 

创建这样一个数据集的最佳方法是什么？

Answer 1

有多种方法可以做到这一点，最好的方法取决于数据的性质、模型以及两个图像之间的关系。

如果您的网络由简单的线性层组成，您可以简单地连接（扁平）张量，因为这里的特征排序是任意的。

如果它是 CNN（取决于图像的关系），将它们堆叠在第 4 维（如视频帧）中可能更有意义。