升级到 Keras 2.0.9 后,我一直在使用该multi_gpu_model
实用程序,但无法保存我的模型或最佳权重
model.save('path')
我得到的错误是
TypeError:无法腌制模块对象
我怀疑访问模型对象存在一些问题。有解决这个问题的方法吗?
升级到 Keras 2.0.9 后,我一直在使用该multi_gpu_model
实用程序,但无法保存我的模型或最佳权重
model.save('path')
我得到的错误是
TypeError:无法腌制模块对象
我怀疑访问模型对象存在一些问题。有解决这个问题的方法吗?
老实说,最简单的方法是使用实际检查多 gpu 并行模型
parallel_model.summary()
(并行模型只是应用了multi_gpu函数后的模型)。这清楚地突出了实际模型(我认为倒数第二层 - 我现在不在我的电脑旁)。然后就可以用这个层的名字来保存模型了。
model = parallel_model.get_layer('sequential_1)
通常它被称为sequential_1,但如果您使用的是已发布的架构,它可能是“googlenet”或“alexnet”。您将从摘要中看到图层的名称。
然后它很容易保存
model.save()
格言方法有效,但我认为它有点矫枉过正。
Rem:您将需要编译模型和并行模型。
这是一个在保存时不会失败的修补版本:
from keras.layers import Lambda, concatenate
from keras import Model
import tensorflow as tf
def multi_gpu_model(model, gpus):
if isinstance(gpus, (list, tuple)):
num_gpus = len(gpus)
target_gpu_ids = gpus
else:
num_gpus = gpus
target_gpu_ids = range(num_gpus)
def get_slice(data, i, parts):
shape = tf.shape(data)
batch_size = shape[:1]
input_shape = shape[1:]
step = batch_size // parts
if i == num_gpus - 1:
size = batch_size - step * i
else:
size = step
size = tf.concat([size, input_shape], axis=0)
stride = tf.concat([step, input_shape * 0], axis=0)
start = stride * i
return tf.slice(data, start, size)
all_outputs = []
for i in range(len(model.outputs)):
all_outputs.append([])
# Place a copy of the model on each GPU,
# each getting a slice of the inputs.
for i, gpu_id in enumerate(target_gpu_ids):
with tf.device('/gpu:%d' % gpu_id):
with tf.name_scope('replica_%d' % gpu_id):
inputs = []
# Retrieve a slice of the input.
for x in model.inputs:
input_shape = tuple(x.get_shape().as_list())[1:]
slice_i = Lambda(get_slice,
output_shape=input_shape,
arguments={'i': i,
'parts': num_gpus})(x)
inputs.append(slice_i)
# Apply model on slice
# (creating a model replica on the target device).
outputs = model(inputs)
if not isinstance(outputs, list):
outputs = [outputs]
# Save the outputs for merging back together later.
for o in range(len(outputs)):
all_outputs[o].append(outputs[o])
# Merge outputs on CPU.
with tf.device('/cpu:0'):
merged = []
for name, outputs in zip(model.output_names, all_outputs):
merged.append(concatenate(outputs,
axis=0, name=name))
return Model(model.inputs, merged)
您可以使用此multi_gpu_model
功能,直到在 keras 中修复该错误。此外,在加载模型时,提供 tensorflow 模块对象也很重要:
model = load_model('multi_gpu_model.h5', {'tf': tf})
问题在于import tensorflow
中间的线multi_gpu_model
:
def multi_gpu_model(model, gpus):
...
import tensorflow as tf
...
这会为 lambda 函数创建一个闭包get_slice
,其中包括 gpus(没关系)和 tensorflow 模块(没关系)的数量。模型保存尝试序列化所有层,包括那些调用并完全因为在闭包中get_slice
而失败的层。tf
解决方案是将 import 移出multi_gpu_model
,以便它tf
成为一个全局对象,尽管仍然需要get_slice
它才能工作。这解决了保存的问题,但在加载时必须tf
明确提供。
这需要通过将 multi_gpu_model 权重加载到常规模型权重来解决一些问题。例如
#1, instantiate your base model on a cpu
with tf.device("/cpu:0"):
model = create_model()
#2, put your model to multiple gpus, say 2
multi_model = multi_gpu_model(model, 2)
#3, compile both models
model.compile(loss=your_loss, optimizer=your_optimizer(lr))
multi_model.compile(loss=your_loss, optimizer=your_optimizer(lr))
#4, train the multi gpu model
# multi_model.fit() or multi_model.fit_generator()
#5, save weights
model.set_weights(multi_model.get_weights())
model.save(filepath=filepath)
`