李宏毅机器学习-2

李宏毅机器学习-2

用梯度下降手写线性回归（只用numpy 、pandas）

用梯度下降手写线性回归（只用numpy 、pandas）

用梯度下降方法预测PM2.5的值 李宏毅机器学习中的作业1 ，这里为了简化流程，突出方法，只用了train.csv数据。 简单说一下要干嘛：就是有很多条观测数据，每一条数据包含了24小时的观测数据，通过这些数据，预测未来PM2.5的值。

这里继续简化问题，用前9小时的数据预测第10个小时的值：

import pandas as pd import numpy as np train_data = pd.read_csv('train.csv',encoding='utf-8') #utf-8编码 train_data.insert(3, 'b', 1) # 插入一列都为1的数， bias * 1 所有参数统一看成 w a1 = train_data[train_data['observation']=='PM2.5'].iloc[:-50,3:13] #用来训练参数 w a2 = train_data[train_data['observation']=='PM2.5'].iloc[-50:,3:13] # 后50行用来算下某参数下的error a1_x = a1.values[:,:-1] #前9个小时数据 a1_x_array = a_x.astype(np.float) a1_y = a1.values[:,-1] #第10个小时数据 a1_y_array = a_y.astype(np.float) a2_x = a2.values[:,:-1] a2_x_array=a2_x.astype(np.float) a2_y = a2.values[:,-1] a2_y_array=a2_y.astype(np.float)

梯度下降实现，直接撸：

# 线性回归 梯度下降 def update_w(dataMatin,label): dataMatrix = np.mat(dataMatin) # m 样本量 ，n 特征数量 (m , n) labelMatrix = np.mat(label).transpose() # (m , 1) m, n = np.shape(dataMatrix) alpha = 0.0000001 # 学习率 max_cycle = 100000000 #迭代次数 w = np.ones((n,1)) # w 初始值为1 for i in range(max_cycle): h = dataMatrix*w # （m ,n) × （n ,1) = (m , 1) x*w err = (labelMatrix - h) #（m ,1) w = w + alpha * dataMatrix.transpose()*err # (n,m)×（m,1) = (n , 1) return w # 平方差的和 作为 error def Error(y_label, y_fitting): return np.sum(np.square(y_label,y_fitting)) # 测试集数据代入 训练好参数w的线性函数中的误差 def model_error(dataMatIn, label, w): dataMatrix = np.mat(dataMatIn) labelMatrix = np.mat(label).transpose() h = (dataMatrix*w) error = Error(labelMatrix, h) #(m , 1) return error

最后，可调整 alpha 值和最大迭代次数优化梯度下降。