《李航.统计学习方法》学习笔记——第1章 统计学习方法概论

    xiaoxiao2022-07-07  168

    第1章 统计学习方法概论

    1、写在前面的话2、监督学习2.1基本概念 3、统计学习方法的三要素2.1模型2.2策略2.3算法

    1、写在前面的话

    从今天开始,准备重新学习一下,李航老师的《统计学习方法》一书(江湖人称“蓝宝书”)。我将重点整理每一章中重要的小节,详细的内容还是要啃书本。自己才疏学浅,有些理解不到位或者错误的地方,还请大家指证。相互之间多交流,利用好这个平台。

    2、监督学习

    机器学习主要包括监督学习、非监督学习、半监督学习、强化学习四类,我们平时做的大部分都是监督学习。而在监督学习中,研究最多的就是分类问题,比如二分类、多分类问题。回归问题更多是进行数据分析,比如房地产数据预测、股票市场预测等。

    2.1基本概念

    输入空间(input space):输入的数据集合。输出空间(output space):输出的数据集合。特征空间(feature space):所有的特征向量存在的空间。 【注】:特征向量(feature vector):在数学上,特别是线性代数中,对于一个给定的方阵 A A A,它的特征向量(eigenvector,也译固有向量或本征向量) v v v 经过这个线性变换之后,得到的新向量仍然与原来的 v v v 保持在同一条直线上,但其长度或方向也许会改变。即

    A v = λ v Av=\lambda v Av=λv λ \lambda λ 为标量,即特征向量的长度在该线性变换下缩放的比例,称 λ \lambda λ 为其特征值(本征值)。

    几何解释: j ⃗ \vec j j k ⃗ \vec k k 是两个基矢量,还有一个矢量 v ⃗ \vec v v ,此时 v ⃗ \vec v v 左乘一个矩阵 A A A,如第二个图所示。

    看上去没有什么特殊之处,此时调整下 v ⃗ \vec{v} v 的方向,图像看上去有点特殊了,如下图所示,

    可以观察到,调整后的 v ⃗ \vec v v A A A v ⃗ \vec v v 在同一条直线上,只是 A A A v ⃗ \vec v v 相对 v ⃗ \vec v v 的长度变长了。此时,我们称 v ⃗ \vec v v A A A v ⃗ \vec v v 的特征向量,而 A A A v ⃗ \vec v v 的长度是 λ \lambda λ的倍, λ \lambda λ就是特征值。即满足上述定义式: A v ⃗ = λ v ⃗ A\vec {v}=\lambda \vec{v} Av =λv

    3、统计学习方法的三要素

    2.1模型

    2.2策略

    2.3算法

    (未完,待更新…)

    最新回复(0)