机器学习百试不爽之(一)逻辑回归(Logistic Regression)

    xiaoxiao2022-07-14  165

    本文包含

    关键计算式:逻辑回归的目标函数模型训练方法:如何逼近最大值

    不包含

    详细的公式推导各种证明

    似然函数表示如下,其中y是样本标签,只有0,1两种情况。x表示观测到的样本特征。P是概率函数。在逻辑回归中采用了sigmod函数

    似然函数最大值求解

    在求解一个函数的最大值很容易想到,导数为0的时候,目标函数最大。可惜,这种方式是行不通的。于是,go on。

    逻辑回归采用了梯度下降的方式,不断迭代模型参数,以逼近最优。

    在计算梯度之前,首先将目标函数改成对数似然,便于求导。

    对数似然

    梯度表示如下,是

    梯度

    模型参数的迭代方式如下,i表示当前训练的轮次,i-1表示上一轮,alpha是学习速率(表示参数迭代的快慢)

     

    参考

    https://tech.meituan.com/2015/05/08/intro-to-logistic-regression.html

    https://blog.csdn.net/zouxy09/article/details/20319673

    最新回复(0)