我正在使用 PyTorch 闪电,所以闪电控制 GPU/CPU 分配,作为回报,我可以轻松获得多 GPU 支持来进行训练。
我想创建一个不适合 GPU 内存的嵌入。
fit_in_cpu = torch.nn.Embedding(too_big_for_GPU, embedding_dim)
然后当我为一批选择子集时,将其发送到 GPU
GPU_tensor = embedding(idx)
我如何在 Pytorch Lightning 中做到这一点?
我正在使用 PyTorch 闪电,所以闪电控制 GPU/CPU 分配,作为回报,我可以轻松获得多 GPU 支持来进行训练。
我想创建一个不适合 GPU 内存的嵌入。
fit_in_cpu = torch.nn.Embedding(too_big_for_GPU, embedding_dim)
然后当我为一批选择子集时,将其发送到 GPU
GPU_tensor = embedding(idx)
我如何在 Pytorch Lightning 中做到这一点?