我正在使用model_main_tf2.py
TensorFlow 训练模型。我正在尝试为文件中的learning_rate_base
and选择好的值。我的方法是改变多个值,并以小步长进行训练,之后我将选择使用 tensorboard 使损失减少最多的值。但这需要时间,所以我做了一些研究,发现 Keras 有,但 Tensorflow 没有找到学习率的选项。warmup_learning_rate
pipeline.config
learning_rate_base
warmup_learning_rate
lr_find()
- 问题:有没有什么方法可以找到 Tensorflow 的学习率和预热学习率,而不是猜测数字?
learning_rate {
cosine_decay_learning_rate {
learning_rate_base: 0.07999999821186066
total_steps: 50000
warmup_learning_rate: 0.026666000485420227
warmup_steps: 1000
}
}