1.均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy） 2.相对熵 相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)常用于描述样本的真实分布，例如[1,0,0,0]表示样本属于第一类，而q(x)则常常用于表示预测的分布，例如[0.7,0.1,0.1,0.1]。显然使用q(x)来描述样本不如p(x)准确，q(x)需要不断地学习来拟合准确的分布p(x)。 1c8e834e63bc00b9586c18008c31a319.png 3.MSE函数 在上图的绿色部分，初始值是0.98，红色部分初始值是0.82，假如真实值是0。直观来看那么0.82下降的速度明显高于0.98，但是明明0.98的误差更大，这就导致了神经网络不能像人一样，误差越大，学习的越快。 4.交叉熵是误差越大，下降速度越快。
反向传播算法 Backpropagation Algorithm (批量)梯度下降法 (batch) gradient descent (整体)代价函数 (overall) cost function 方差 squared-error 均方差 average sum-of-squares error
科技之禅 认证博客专家 算法 数据分析 PyTorch 1.职位：高级算法研究员；2.主要的研究领域：语音合成、语音识别、歌声合成、强化学习；3.历史项目经历： A.ML：AI平台算子开发，B.DNN：歌声合成系统开发，C.DNN：中英语音合成算法研究以及文本正则处理，D.强化学习：AlphaGo复现象棋开发，E.知识图谱：运维机器人开发，F.工程化：AI微服务。