机器学习、深度学习能做什么： 1、传统预约 2、图像识别 3、自然语言处理 什么是机器学习： 1、数据 2、模型 3、预测 从历史数据中获得规律？这写历史数据是什么样的格式？？ （1）数据集构成 特征值和目标值（对于每一行数据我们可以称之为样本，有些数据可以没有目标值） 机器学习算法分类 监督学习 目标值： 类别-分类问题 k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归 目标是：连续型的数据-回归问题 线性回归、岭回归 目标值：无-无监督学习 聚类：k-means 1、预测明天的天气是多少度？回归 2、预测明天天气是阴天还是晴天？分类 3、人脸的年龄预约？分类/回归 4、人脸识别？ 分类 机器学习开发流程： 1）获取数据 2）数据处理 3）特征工程 4）机器学习算法训练-模型 5）模型评估 6）应用 特征工程 1.数据集 1.1可用数据集 数据集 学习阶段可用数据集 1）sklean 2)kaggle 3)UCI 1 Scikit-learn 工具介绍 pip install -i https://pypi.douban.com/simple sklearn 1.2 sklearn数据集 load_*: 获取小规模数据集 fetch_* :获取大规模的数据集，需要网上下载 2 sklearn 小数据集 sklearn.datasets.load_iris() 3 sklearn 大数据集 sklearn.datasets.fecth_20newsgroups(data_home=None) 4 数据集的返回值 datasets.base.Bunch(集成字典) 1.3 数据集划分 训练数据 ：用于训练，构建模型 测试数据：在模型体验时使用，用于评估模型是否有效 测试集 ：20% - 30% 2.特征工程介绍 算法、特征工程 2.1为什么需要特征工程 2.2什么是特征公工程 sklearn 特征工程 pandas 数据清洗，数据处理 特征抽取/特征提取 机器学习算法-统计方法-数学公式5 文本类型-》数值 类型-》数值 3.1特征提取 sklearn.feature_extraction 3.2 字典特征提取-类别-one-hot 编码 sklearn.feature_extraction.DictVectorizer(sparse=True) 矩阵 matrix 二维数组 向量：vector 一维数组 父类 ：转换器类 返回spares矩阵 spares 稀疏 将非0值按位置表示出来 节省内存，提高加载效率 应用场景： 1）数据集中特征比较多 1）数据集的特征转换为字典 2）DicVectorizer()转换 2）本身拿到的就是字典 3.3 文本特征的提取： 单词 作为特征 特征：特征词 方法1：CountVectorizer() 统计每个特征词出现的次数 stop_words停用的 停用词表 关键词：在某一个类别的文章中，出现次数多，但是在其它文章中出现次数比较少 方法2：TfidfVectorizer() TF-IDF 衡量一个字的重要程度 两个词： 经济 非常 1000篇文章 -语料库 100篇文章-非常 10篇文章-经济 两篇文章 文章A（100词） 10次”经济“ TF-IDF： 0.2 tf=10/100=0.1 idf=lg 1000/10=2 文章B（100词）10次”非场“ TF-IDF：0.1 tf=10/100=0.1 idf=log 10 1000/100 =1 tf-词频（term-frequency） idf-逆向文档频率 是一个词语普遍重要性的度量 特征预处理 1.什么是特征预处理 为什么我们需要归一化/标准化？ 特征值的单位或者大小相差较大，或者某特征的方差相比其他特征要大出几个数量级，容易影响目标结果，使得一些算法无法学习到其他特征 无量纲化 归一化： 总结 注意是最大值最小值是变化的，最大值和最小值最容易受异常点的影响，所以这重方法鲁棒性很差，只适合传统精确的小数据场景 标准化：(x-mean)/std 标准差：离散程度或者集中程度 标准化总结：在已有样本足够多的情况下比较稳定，使得现在嘈杂大数据场景 特征降维 降维 降低维度 二维数组： 此处的维度： 降低特征的个数 效果：特征与特征之间不相关 降维： 特征选择： Filer过滤式 方差选择法：低方差过滤 相关系数：特征与特征之间的相关程度 皮尔逊相关系数 特征与特征之间相关性很高： 1）选取其中一个 2）加权求和 3）主成分分析 Embeded嵌入式 决策树 正则化 深度学习 主成分分析（PCA）： 定义：高维数据转换为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量 作用：是数据的维数压缩，尽可能的降低原数据的维数 应用：回归分析或者聚类分析当中，损失少量数据 sklearan.decomposition.PCA(n_components=None) n_components 小数：表示保留百分之多少的信息 整数：减少到多少特征
分类算法 目标值：类别 1.sklearn转换器和估计器 2.knn算法 3.模型选择与调优 4.朴素贝叶斯算法 5.决策树 6.随机森林 3.1 sklearn转换器和估计器 转换器 估计器（estimator） 3.1.1 转换器 1.实例化（实例化一个转换器类（Transformer）） 2.调用fit_transform(对于文档建立分类词频，不能同时调用) 标准化： （x-mean）/std fit_tranform() fit() //计算每一列的平均值，标准差 tansform() //（x-mean）/std进行最终的转换 3.1.2 估计器（sklearn 机器学习算法的实现） 估计器（estimator） 1.实例化一个estimator 2.estimator.fit(x_train,y_train) 计算 --调用完毕，目标生成 3.模型评估 1）直接对比真实值和预测值 y_predict=estimator.predict(x_test) y_test==y_predict 2)计算准确值 estimator.score(x_test,y_test) 3.2 k-近邻算法 KNN核心思想： 根据你的邻居来推断的类别 k-近邻算法 原理 k=1 容易受到异常值的影响 如何确定谁是邻居： 计算机距离： 距离公式 曼哈顿距离 绝对值距离 明可夫斯基距离 k值取得过小，容易受到异常点的影响 k值过大，容易受到样本不均衡的影响 无量纲化 标准化 总结： 优点：简单，易于理解，易于实现，无需训练 缺点：必须指定 k值，k值选择不当则分类精度不能保证 懒惰算法，对测试样本进行分类时，计算量大，内存开销大 使用场景：小数据场景，几千-几万样本，具体场景，具体业务去测试 3.3 模型选择与调优 3.3.1 什么是交叉验证（cross vaiidation） 分为 训练集，测试集 目的：为了让被评估的模型更加准确可信。 3.3.2超参数搜索-网格搜索（Grid Search） 为了寻找k值 3.3.3 案例：预测facebook签到位置 流程分析： 1）获取数据 2）数据处理 目的： 特征值 目标值 a 缩小数据范围 b time-> c 过滤签到次数少的地方 数据集划分 3）特征工程：标准化 4）KNN算法预估流程 5）模型选择与调优 6）模型评估 3.4朴素贝叶斯算法 3.4.1 什么是朴素贝叶斯分类算法 3.4.2概率基础 3.4.3 联合概率，条件概率和相互独立 联合概率：包含多个条件，且所有条件同时成立的概率 p(A,B) 条件概率：就是事件A在另一个事件B已经发生的条件下发生的概率 P（A|B） 相互独立：如果P（A，B）=P (A)P(B),则称为事件A与事件B相互独立 朴素？ 特征与特征事件是相互独立的 朴素贝叶斯算法 朴素+贝叶斯 贝叶斯：P(C|W)=P(W|C)P(C)/P(W) 应用场景： 文本分类 单词作为特征 3.4.4 拉普拉斯平滑系数 目的：为了防止算出的分类概率为0 p(F|C)=Ni+α/N+αm 3.4.5朴素贝叶斯算法总结 优点：朴素贝叶斯算法发源于古典数学理论，有稳定的分类效率 对缺失数据不太敏感，常用于文本分类 分类准确高，速度快 缺点：由于使用了样本独立性的假设，如果特征属性有关联的形况下效果不好 3.5决策树 3.5.1 认识决策树 如何高效的进行决策？ 特征的先后顺序 3.5.2 决策树分类原理详解 1）信息 香农：消除随机不定性的东西 信息的衡量-信息量-信息熵 H（X）=Σp(xi)logb（p(xi)） 3.5.3决策树的划分依据之一=======信息增益 特征A对训练数据集D的信息增益g(D,A ),定义为集合D的信息熵H（D）与特征A的信息条件熵H（D|A）之差：公式为g(D,A)=H(D)-H(D|A ) 条件熵的计算H（D/A）=ΣDi/DH（Di） 优点：可视化：可解释能力强 缺点：容易产生过拟合 3.6集成学习方法之随机森林 3.6.1 什么是集成学习放法：建立几个模型组合来解决单一预测问题，它的工作原理是生成多个模拟器/模型，各自独立地学习和做出预测，这些预测最后组合成组合预测，因此优于任何一个单分类的做出预测。 3.6.2什么是随机森林 随机： 森林：包含多个决策树的分类器 3.6.3 随机森林原理过程 训练集：特征值、目标集 N个样本 特征值 目标值 M个特征 随机 两个随机 训练集随机：--N个样本中随机有放回的抽取N个 bootstrap 随机有放回的抽样 特征随机：--从M个特征中随机抽取m个特征 M>>m 降维 3.6.4 总结： 在当前所有算法中，具有极好准确率 能够有效地运行在大数据集上，处理具有高维数特征的输入样本，而且不需要降维 能够评估各个特征在跟类问题上的重要性
