我正在尝试制作一个模型来使用 nii 格式的图像进行训练。我可以使用 nibabel 库从本地文件系统读取文件但我没有找到任何合适的库来使用 pyspark 从 hdfs 读取 nii 文件。我还尝试使用 spark 二进制文件进行阅读。没有一种技术做得很好。
我可以使用 nibabel 库从本地文件系统读取文件但我找不到任何合适的库来使用 pyspark 从 hdfs 读取 nii 文件。我还尝试使用 spark 二进制读取。我还尝试复制到对象并作为对象读取。
这是我如何阅读 JPG 图片进行训练的代码。同样，我需要阅读 nii 文件。
from sparkdl import readImages
from pyspark.sql.functions import lit
img_dir = "MRI_dataset"
AD_df = readImages(img_dir + "/ADTest").withColumn("label", lit(1))
HO_df = readImages(img_dir + "/HOTest").withColumn("label", lit(0))
MCI_df = readImages(img_dir + "/MCITest").withColumn("label", lit(2))
train_df,test_df = (AD_df.unionAll(HO_df)).unionAll(MCI_df).randomSplit([0.6, 0.4], seed = 42)
train_df = train_df.repartition(100)
test_df = test_df.repartition(100)