tensorflow - 卷积神经网络和 3D 图像

Question

我有兴趣将 CNN 应用于 3D 图像（即医学数据）。TensorFlow 是否已经包含此功能？

Answer 1

TensorFlow 现在在 master 分支中支持3D 卷积和3D 池化。

您可以将它们与 5D 张量一起用作 shape: 的输入[batch_size, depth, height, width, channels]。

Answer 2

不，当前的实现是针对 2D 图像（像 nn.conv2d 之类的函数）。它们支持多个通道（例如 RGB），并且可以将 3D 图像表示为多通道 2D 图像（每个 z 切片都是一个通道），但这并不总是理想的。此外，为了使用这些方法，您需要大量的图像数据，这在医学领域通常很难获得。

更新：TensorFlow 和 Theano（随后是 Keras、Lasagne 等）现在都支持如上所述的 3D 操作。需要注意的是，与类似的 2D 操作相比，3D 操作的计算量和内存密集程度更高。

Answer 3

以下开源项目提供了 3D 卷积神经网络的 TensorFlow 实现：

唇读 - 使用 3D 卷积神经网络的交叉视听识别

使用 3D 卷积神经网络进行说话人验证

Answer 4

如果您想将 CNN 与 3D 图像一起使用，一个可能的替代方法是使用这个Caffe PR。您需要将数据转换为 HDF5 格式。