我在 google colab 上使用了一个简单的可迭代数据集,并且在迭代数据集时遇到了崩溃。这是一个最小的代码:
class Maps(data.IterableDataset):
def __init__(self):
super().__init__()
def yield_items(self):
for i in range(150):
file = np.random.rand(160, 256, 512)
for j in range(150):
img = file[j:j+10, :, :256]
label = file[j:j+10, :, 256:]
img = torch.tensor(img/np.max(img))
label = torch.tensor(label / np.max(label))
yield img.float(), label.float()
def cycle_data(self):
return cycle(self.seeItems())
def __iter__(self):
return self.cycle_place()
train_dataset = Maps()
data_loader = data.DataLoader(train_dataset)
for x,y in data_loader:
continue
但是,我经常遇到 google colab 崩溃(错误消息说所有 RAM 都已使用)。有什么办法可以解决这个问题吗?