k近邻学习（k-nearest neighbor，kNN）：监督学习。
给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。
分类任务：投票法
回归任务：平均法
维数灾难问题——————降维：使样本密度大幅提高，距离计算也变得更为容易。
降维方法：
1. 线性降维方法
1） 多维缩放(multiple dimensional scaling, MDS)
2）主成分分析(principal component analysis, PCA)
2. 非线性降维方法
核化线性降维：eg：核主成分分析（KPCA）
3. 流形学习
1）等度量映射
2）局部线性嵌入
4. 度量学习
不懂降维方法的具体实现......
