lr模型为什么采用似然估计损失函数

Question

如题所述

Answer 1

在统计学，统计决策理论和经济学中，损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。

Answer 2

（1）使用对数损失后的损失函数是凸函数，保证了若收敛则收敛到全局最优值。
（2）使用梯度下降进行参数求解时，参数的更新与sigmoid的梯度无关，使得参数更新速度稳定。若参数更新与sigmoid的梯度有关（如像线性回归那样使用平方损失），则由于sigmoid只有在0附近增长速度较快，梯度较大，在两端增长缓慢，梯度几乎接近0，则会影响参数的更新速度，收敛也会变慢。