交叉熵的优点

88次

问题描述:

交叉熵作用

推荐答案

2023-10-25 14:36:19

叉熵的优势:

在回归模型中有时候会使用均方差作为损失函数,但是当激活函数为sigmoid时,由于其在上边界和下边界的斜率下降十分之快。事实上,一般sigmoid函数的斜率最大值也只有0.25。因此,当训练结果接近真实值时会因为梯度算子极小,使得模型的收敛速度变得非常慢。

而由于交叉熵损失函数为对数函数,在接近上边界的时候,其仍然可以保持在高梯度状态,因此模型的收敛速度不会受到影响。

知道问答相关问答

(c)2008-2025 自学教育网 All Rights Reserved