38

我想设计一个深度网络，上面有一个（或多个）卷积层（CNN）和一个或多个完全连接的隐藏层。
对于具有完全连接层的深度网络，theano 中有用于无监督预训练的方法，例如，使用去噪自动编码器或RBM。

我的问题是：如何（在 theano 中）为卷积层实现无监督的预训练阶段？

我不期望一个完整的实现作为答案，但我希望能提供一个好的教程或可靠参考的链接。

4

1 回答 1

30

本文描述了一种构建堆叠卷积自动编码器的方法。基于那篇论文和一些谷歌搜索，我能够实现所描述的网络。基本上，您需要的一切都在 Theano 卷积网络和去噪自动编码器教程中进行了描述，但有一个关键例外：如何反转卷积网络中的最大池化步骤。我能够使用这个讨论中的一种方法来解决这个问题- 最棘手的部分是确定 W_prime 的正确尺寸，因为这些将取决于前馈滤波器的大小和池化比率。这是我的反相函数：

    def get_reconstructed_input(self, hidden):
        """ Computes the reconstructed input given the values of the hidden layer """
        repeated_conv = conv.conv2d(input = hidden, filters = self.W_prime, border_mode='full')

        multiple_conv_out = [repeated_conv.flatten()] * np.prod(self.poolsize)

        stacked_conv_neibs = T.stack(*multiple_conv_out).T

        stretch_unpooling_out = neibs2images(stacked_conv_neibs, self.pl, self.x.shape)

        rectified_linear_activation = lambda x: T.maximum(0.0, x)
        return rectified_linear_activation(stretch_unpooling_out + self.b_prime.dimshuffle('x', 0, 'x', 'x'))
于 2014-09-25T20:29:26.867 回答