Udacity机器学习入门笔记5-回归

Udacity机器学习入门笔记5-回归

1.sklearn 广义线性模型1.1 普通最小二乘1.2 脊回归（ridge regression） 2.Udacity test参考文献

1.sklearn 广义线性模型

以下是一组用于线性回归的方法，这些方法中，目标值是一组特征的线性组合。在数学公式中，$\hat{y}$是预测值 $$\hat{y}(w,x)=w_0+w_1{x}_1+\dots +w_p{x}_p$$ 其中，向量$w=\left(w_1,\dots ,w_p\right)$作为coef_,$w_0$为截距intercept_。

1.1 普通最小二乘

LinearRegression 用影响系数$w=\left(w_1,\dots ,w_p\right)$拟合一个线性模型，该模型最小化数据集中观察到的目标和通过线性近似预测的目标之间总和残留的平方。数学上它解决形式： $$\underset{w}{\min }\Vert Xw-y{\Vert }_2^2$$

1.2 脊回归（ridge regression）

Ridge回归通过对系数的大小判罚解决了普通最小二乘法一些问题。脊系数最小化带有惩罚的残差的平方和： $$\underset{w}{\min }\Vert Xw-y{\Vert }_2^2+\alpha \Vert w{\Vert }_2^2$$ 复杂性参数$\alpha \ge 0$ 控制收缩量：较大的值 $\alpha$ ，收缩的量越大，因此系数变得更稳健于共线性

2.Udacity test

from sklearn import linear_model reg = linear_model.LinearRegression() reg.fit(feature_train,target_train) print reg.score(feature_train,target_train) print reg.score(feature_test,target_test)

参考文献

sklearn Generalized Linear Models https://scikit-learn.org/stable/modules/linear_model.html