deep-learning - 反向传播是否使用优化函数来更新权重？

Question

我知道反向传播计算成本函数相对于模型参数（权重和偏差）的导数。但是，我需要确保反向传播不会更新权重和偏差；相反，它使用优化器来更新权重和偏差，如 Adam、梯度下降等

提前致谢

Answer 1

如果我很好地理解您的问题：当您在深度学习框架（PyTorch/TensorFlow）中使用优化器时，说“Adam”，权重更新是由优化器执行的。这个过程是自动发生的，你不需要手动编写任何代码，框架会为你更新权重+偏差。