统计学习方法学习笔记1——感知机模型

1.感知机学习算法的原始形式

输入：训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)},其中xi属于R，yi属于{+1,-1},i=1,2,...,n;学习率h(0<h=<1)

输出：w,b;感知机模型f(x)=sign(w*x+b)

1、选取初值w0，b0;2、在训练数据集中选取数据(xi,yi)：3、如果yi(w*xi+b)<=0: w <-- w + h*yi*xi b <-- b + h*yi 4、转至-2，直至训练集中没有误分类点

python实现感知机模型原始形式：

 

def perceptron_model(train_datas, train_labels, h, iters=100): # 1.初始化权值参数w0 和偏置b0 w = np.array([0., 0.]) b = 0. for iter_ in range(iters): for x,y in zip(train_datas, train_labels): if y*(np.dot(w, x)+b)<=0: w=w+h*y*x b=b+h*y print('w:', w) print('b:', b) return w, b def sk_percetron_model(train_datas, train_labels): model = Perceptron(n_iter = 40, eta0 = 0.01, random_state = 1) model.fit(train_datas, train_labels) #得到训练结果，权重矩阵 print('w',model.coef_) #超平面的截距 print('b',model.intercept_) return model.coef_, model.intercept_ train_data = [[3, 3], [4, 3], [1, 1]] train_label = [1, 1, -1] train_datas = np.array(train_data) train_labels = np.array(train_label) w, b = perceptron_model(train_datas, train_labels, 0.001) w_, b_ = sk_percetron_model(train_datas, train_labels) plot_model(w_[0], b_, train_datas, train_labels) plot_model(w, b, train_datas, train_labels) w: [0.001 0.001] b: -0.003 w [[0.01 0.01]] b [-0.03]

感知机模型的假设空间为：函数集合—｛f|f(x)=wx+b｝ 模型的复杂度主要体现在模型参数w上，而w的规模取决于输入数据特征的数量，故模型的复杂度间接体现在输入特征的数量上。如果是多层感知机，还取决于感知机的层数，这个时候就要考虑模型的结构风险，防止过拟合的现象出现，尽可能加入正则化。