机器学习算法之 logistic 回归

    xiaoxiao2022-07-12  147

        逻辑回归 logistic regression  

    1、概述

     主要思想:根据现有的数据对分类边界线建立回归公式(最佳拟合线,这个拟合过程称作为回归),以此进行分类

    如下线性函数z,x为输入数据,w为相应的系数。 向量写法 Z = W^T*X ,向量X为分类器的输入值,向量W是我们要找到的最佳拟合参数。

    得到最佳拟合参数W后, sigmoid(z) > 0.5 分类成1, 否则分类到0    

    2、Sigmoid 函数

     我们想要的回归函数,能接受所有的输入并能够预测出类别。例如两个类别的情况下,函数输出0或1。这样性质的函数,想到

    的是单位阶跃函数(海维塞德阶跃函数),而海维塞德阶跃函数的问题是,该函数在跳跃点上从0瞬间跳跃到1,这个瞬间过程有时很

    难处理。有幸,我们找到一个函数由此性质,并数学上比较容易处理,这就是sigmoid函数。

    Sigmoid 函数,一种阶跃函数,值为0到1之间,如下: X的尺度足够大时就像0和1之间的阶跃函数。

    为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结果值相加,将这个总和带入sigmoid函数中,

    进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分为1类,小于0.5即分为0类。所以logistic回归也可以被看成是一种概率估计。

       

    3、寻找、训练最佳回归参数

     Sigmoid函数的输入z,  向量的方式写  其中x为输入,w为我们要找的最佳参数(系数),使得分类器尽可能的精确。怎么得到这个最佳参数呢,我们先看看相关知识,

     梯度上升/下降算法。

     梯度上升法  梯度:高数中的梯度,即方向导数,函数增量最快的方向  梯度上升算法思想:要找某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。

     梯度上升算法迭代公式: a称为不长,W是迭代的参数,公式一直被迭代到某个停止条件为止。

       

    4、代码

     那么上述梯度上升或下降算法怎么和逻辑回归训练结合呢,下面我们直接看实现。

     每次迭代在一条输入数据上计算回归结果h,并和实际分类计算差距,分类1和0,因为sigmoid结果为0~1之间的数值,

     那么对于输入X为类别1来说,error = 1 - h > 0 ,这时我们尽可能把z增大靠近1,使用梯度上升

     对于输入X为类别0来说,error = 0 - h < 0 ,这时我们尽可能把z减少靠近0,使用梯度下降

     刚好计算下一步梯度时使用error的正负数来确定上升还是下降。

     代码,把下面code保存到logRegres.py文件中

    from numpy import * def loadDataSet(): dataMat = []; labelMat = [] fr = open('testSet.txt') for line in fr.readlines(): lineArr = line.strip().split() dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) labelMat.append(int(lineArr[2])) return dataMat,labelMat def sigmoid(inX): return 1.0/(1+exp(-inX)) def gradAscent(dataMatIn, classLabels): dataMatrix = mat(dataMatIn) #convert to NumPy matrix labelMat = mat(classLabels).transpose() #convert to NumPy matrix m,n = shape(dataMatrix) alpha = 0.001 maxCycles = 500 weights = ones((n,1)) for k in range(maxCycles): #heavy on matrix operations h = sigmoid(dataMatrix*weights) #matrix mult error = (labelMat - h) #vector subtraction weights = weights + alpha * dataMatrix.transpose()* error #matrix mult return weights

     简单说明下代码中的迭代代码:

     weights = weights + alpha * dataMatrix.transpose()* error

     其中alpha为步长,因为 ∂Z/(∂W_0 ) = X_0 ∂Z/(∂W_1 ) = X_1 ∂Z/(∂W_2 ) = X_2 偏导数就数据本身,

     Error是增加或减少的方向,X的类型1时error>0 继续增加; X的类型0时error<0 应该weights减少使与0的差减少

    附件中数据testSet.txt保存到同目录下。

    运行

    import logRegres dataArr,lableMat = logRegres.loadDataSet() logRegres.gradAscent(dataArr,lableMat) matrix([[ 4.12414349], [ 0.48007329], [-0.6168482 ]])

    最新回复(0)