Python数据分析——第10周
回归分析
回归分析：通过建立模型来研究变量之间相互关系的密切程度、结构状态及进行模型预测的一种有效工具 一元线性回归： 多元线性回归： 多个因变量与多个自变量的回归：
一元非线性回归：对自变量或者因变量进行非线性的转换 分段回归： 多元非线性回归： 含有定性变量的回归：少年组、青年组、老年组，分别是0,、1、2
函数关系与相关关系
函数关系：确定性关系，y=3+10*x 自变量确定以后，因变量也能确定下来 相关关系：非确定性关系 即使你知道了自变量的值，但是你不能准确地预测出因变量的值，可能只能预测出因变量大概的范围或者均值。
相关系数
我们使用相关系数去衡量线性相关性的强弱。 每个自变量减去均值乘每个因变量减去均值，累加起来。除以。自变量的标准差乘上因变量的标准差。 强弱：这些点距离直线的距离。这些点越能接近于某条直线，那么它的线性关系越强。 正相关：x越大、y越大 负相关：x越大、y越小
通过计算，左图中的相关系数为0.9930858，右图的相关系数为0.9573288
一元线性回归模型
若X与Y之间存在着较强的相关关系，则我们有Y≈α+βX 若α与β的值已知，则给出相应的X值，我们可以根据Y≈α+βX得到相应的Y的预测值 误差： 把a和b求出来
参数
截距项α 斜率β 误差项ε 例子：商品销量s关于电视广告费用t的回归方程：s=10+3.4*t（单位：万元）
如何确定参数
使用平方误差和衡量预测值与真实值的差距 平方误差真实值y，预测值 ，则平方误差就是 寻找合适的参数，使得平方误差和 最小。 使用最小二乘法确定参数： 因为要与系数相关，把预测值写成线性回归方程形式。 RSS其实是关于α与β的函数，因为要对RSS取得最小值，所以这里我们分别对α与β求偏导并令偏导等于0，就可以得出α与β的值 把大写看成是总体的
由于总体未知，采用样本值估计： 从而，对于每个xi，我们可以通过 预测相应的y值
例子
x=c(1,2,3,4)，y=c(6,5,7,10)。构建y关于x的回归方程y=α+βx 使用最小二乘法求解参数： 得到y=3.5+1.4x 如果有新的点x=2.5，则我们预测相应的y值为3.5+1.4*2.5=7
多元线性回归模型
当Y值的影响因素不唯一时，采用多元线性回归模型 例如商品的销售额可能与电视广告投入，收音机广告投入，报纸广告投入有关系，可以 有
参数估计
最小二乘法： 与一元回归方程的算法相似 是关于βi的函数。分别对βi求偏导并令偏导等于0，可以解出相应的βi的值
以矩阵的形式书写：
Python实现
#-*- coding: utf-8 -*-
from numpy import *
import pandas as pd
###线性回归####
#读取数据，数据在网页上可以下载得到（商品销售额、电视广告投入、收音机广告投入、报纸广告投入）
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
#先查看一下数据集的基本情况，看到一共200行数据
data.head()
data.tail()
#画散点图
import seaborn as sns
import matplotlib
%matplotlib inline
sns.pairplot(data, x_vars=['TV','Radio','Newspaper'], y_vars='Sales', size=7, aspect=0.8)
sns.pairplot(data, x_vars=['TV','Radio','Newspaper'], y_vars='Sales', size=7, aspect=0.8, kind='reg')
#计算相关系数矩阵
data.corr()
#构建X、Y数据集
X = data[['TV', 'Radio', 'Newspaper']]
X.head()
y = data['Sales']
y.head()
##直接根据系数矩阵公式计算
def standRegres(xArr,yArr):
xMat = mat(xArr); yMat = mat(yArr).T
xTx = xMat.T*xMat
if linalg.det(xTx) == 0.0:
print "This matrix is singular, cannot do inverse"
return
ws = xTx.I * (xMat.T*yMat)
return ws
#求解回归方程系数，增加截距项
X2=X
X2['intercept']=[1]*200
standRegres(X2,y)
##利用现有库求解
from sklearn.linear_model import LinearRegression
linreg = LinearRegression()
linreg.fit(X, y)
print linreg.intercept_
print linreg.coef_
print zip(['TV','Radio','Newspaper'], linreg.coef_)
##测试集和训练集的构建
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)
linreg.fit(X_train, y_train)
#结果
print linreg.intercept_
print linreg.coef_
print zip(['TV','Radio','Newspaper'], linreg.coef_)
#预测
y_pred = linreg.predict(X_test)
#误差评估
from sklearn import metrics
#calculate MAE using scikit-learn
print "MAE:",metrics.mean_absolute_error(y_test,y_pred)
#calculate MSE using scikit-learn
print "MSE:",metrics.mean_squared_error(y_test,y_pred)
#calculate RMSE using scikit-learn
print "RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred))
##模型比较
feature_cols = ['TV', 'Radio']
X = data[feature_cols]
y = data.Sales
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)
linreg.fit(X_train, y_train)
y_pred = linreg.predict(X_test)
#calculate MAE using scikit-learn
print "MAE:",metrics.mean_absolute_error(y_test,y_pred)
#calculate MSE using scikit-learn
print "MSE:",metrics.mean_squared_error(y_test,y_pred)
#calculate RMSE using scikit-learn
print "RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred))
读取数据 散点图
模型构建 – 直接利用公式编写函数 – 利用现有的库 矩阵的行列式，如果等于0，打印这个矩阵是奇异的，不能进行求逆运算。
增加截距项，都是1
构建训练集与测试集，评估模型
变量选择，模型比较
