machine-learning - 在微分的情况下，MSE 中的术语顺序是否重要？

Question

均方误差是机器学习中常用的成本函数：

(1/n) * sum(y - pred)**2

基本上，减法项的顺序并不重要，因为整个表达式都是平方的。

但是如果我们区分这个函数，它将不再是平方的：

2 * (y - pred)

顺序会对神经网络产生影响吗？

在大多数情况下，颠倒术语的顺序y会pred改变结果的符号。当我们使用结果来计算权重的斜率时——它会影响神经网络的收敛方式吗？

Answer 1

实际上

和

所以他们是一样的。

y_i（假设这些是网络输出，我采用了导数，但如果您通过 导出，当然同样适用\hat{y}_i。）