1

我正在训练一个 CNN。在总时期结束时,我实现了大约 0.001 l2 损失并保存了一个检查点。现在,当我想恢复训练时,我加载了检查点,我开始的错误大于 0.008。

这是我保存检查点的方法:

paths.mkdir('checkpointsR3')
parametersR, gradParametersR = nil, nil -- nil them to avoid spiking memory
if epoch % 50 == 0 then
     util.save('checkpointsR3/' .. opt.name .. '_' .. (epoch+1000) .. '_net_R.t7', netR, opt.gpu)
end

这是我加载检查点的方式:

-- load Residual Learner
assert(opt.net ~= '', 'provide a generator model')
netR = util.load(opt.net, opt.gpu)
netR:evaluate()

util 是直接从soumith chintala 的 dcgan.torch使用的 lua 文件。

我想知道我哪里出错了,为什么 l2 损失比我在那个检查点训练它时要高。我检查了我正在加载训练有素的检查点,但我仍然收到更高的错误。

4

1 回答 1

1

知道了。这是一个错误:

netR:evaluate()

此处的火炬文档Documentation指出,如果想要恢复训练,training()应该使用它,而不是evaluate()因为它BatchNormalization为训练和测试以不同的方式初始化层。

于 2017-04-17T19:21:22.093 回答