pandas清洗数据常用命令 安装jupyter notebook 启动 jupyter 可以在里面编写python代码
1、 加载数据 df = pd.DataFrame(pd.read_excel(‘test.xlsx’)) 2、显示数据的几行几列 （980，13） df.shap 3、去除显示信息时中间的省略号 pd.set_option(‘display.width’,None) {因为在pandas中默认读取文件显示是按照最小内存来读取的，所以使用这代码设置读取文件长度 没有限制即不省略中间的部分} 4、设置行与行之间不省略 df.set_option(‘display.max_rows’, None) { 详情见：http://www.cnblogs.com/zhuPython/p/9258950.html } 5、是空值就显示True不是就false df.isnull() 和isnull相反 df.notnull() 6、去除含有空值的行 df.dropna() 7、对空值进行填充（任意值或0） df.fillna(0) 8、去除重复值 df.drop_duplicates() 9、对指定值进行替换 { 详见：https://www.jianshu.com/p/2557a805211f } ①、普通替换(只替换整个，不会查询部分） df[‘户型面积’] = df[‘户型面积’].replace(‘平米’,‘替换’) { 也就是只查询单元格中整个内容符合替换条件不，如果一部分符合不替换 加上inplace = true 参数对文本进行操作 } ②、可以替换成空即删除多余的内容 df[‘户型面积’] = df[‘户型面积’].str.replace(‘平米’,’’) { 这中形式同样可以解决①中的只查询替换整个单元格的问题 } ③、可以使用正则表达式替换 df[‘户型面积’] = df[‘户型面积’].replace(‘平米’,‘替换’) { 要加参数reges = true表示使用正则表达式 } 10、把一列数据分割 df[‘A’],df[‘B’] = df[‘AB’].str.split(’~’,1).str 11、检查该列是否都是字符 loandata[‘emp_length’].apply(lambda x: x.isalpha()) 数字 loandata[‘emp_length’].apply(lambda x: x.isalnum()) 字母 loandata[‘emp_length’].apply(lambda x: x.isdigit()) 12、统计该列各种字段的数量 df[‘城市’].value_counts() 13、用replace去除指定的值 http://www.cnblogs.com/massquantity/massquantity/p/9280905.html 14、查看统计结果是false的所有列 df2 = df[df[‘售价’].apply(lambda x: x.isalnum())==False] 15、dataframe转化为数组 np.array(df) df.as_matrix() 16、异常值检查
