hands-on Machine Learning with Scikit-Learning加州房价主要思路

    xiaoxiao2022-07-12  132

    一、全局预览

    二、获取数据

    三、数据探索、数据可视化,深入理解数据

    四、为机器学习算法准备数据

    五、选择模型进行训练

    六、模型微调

    七、运行、监测和维护系统

     

    一、全局角度

    已有数据——加州的房价信息:每个街区人口、每个街区收入中位数、每个街区房价中位数、街区经纬度

    目的——能够预测出任何街区的房价中位数,在给定其他所有的度量值时。

    构建问题——了解商业目的、现有方案后,有无监督?  分类回归?Batch online?有监督、回归、batch

    选择性能指标——典型回归问题  RMSE均方根误差

    核实假设  

     

     

    二、获取数据

    创建工作区——准备运行python、jupyter、pandas、numpy、matplotlib、scikit-Learn

    下载数据——通常数据库、文档文件

    快速浏览数据框架——行、列、数据描述信息,总共多少数据量、数据类型、null值、均值、最值,histogram画图看

    创建测试集——通常20%的数据作为测试集,80%训练集。①要避免每次运行重新划分测试集和数据集都不一样的问题,有相应的语句,或者给每条数据计算相应的身份标识②随机抽样不合理怎么办,要在样本中体现一定的比例,采用分层抽样,分桶,等频切分

    三、数据探索

    数据可视化——地图、皮尔森相关系数、散点图看看每个特征之间的关系

    四、为机器学习算法准备数据

    数据清洗——缺失值处理:去掉相应区域;去掉整个属性;把空值设置成0/均值/中位数

    解决文本和类属特征——把文本转成数字

    特征缩放——线性归一化、标准化

    转化pipeline——fit() fit-transform()

    五、选择模型进行训练

    训练集上进行训练和评估——线性模型 决策树模型,计算RSME,不断尝试,模型训练好后,用训练集进行评估

    交叉验证做最好的评估——分割训练集,得到更小的训练集和验证集

    六、模型微调

    网格搜索、随机搜索、集成方法

    分析最佳模型和他们的误差

    测试集评估系统

    七、启动、监测和维护系统

    最新回复(0)