这十套练习，教你如何使用Pandas做数据分析

Pandas是入门Python做数据分析所必须要掌握的一个库，本篇精选了十套练习题，帮助读者上手Python代码，完成数据集探索。 数据集下载地址：https://github.com/Rango-2017/Pandas_exercises

1 - 开始了解你的数据 探索Chipotle快餐数据 – 将数据集存入一个名为chipo的数据框内 – 查看前10行内容 – 数据集中有多少个列(columns)？ – 打印出全部的列名称 – 数据集的索引是怎样的？ – 被下单数最多商品(item)是什么? – 在item_name这一列中，一共有多少种商品被下单？ – 在choice_description中，下单次数最多的商品是什么？ – 一共有多少商品被下单？ – 将item_price转换为浮点数 – 在该数据集对应的时期内，收入(revenue)是多少？ – 在该数据集对应的时期内，一共有多少订单？ – 每一单(order)对应的平均总价是多少？

import pandas as pd data=pd.read_csv('../data/chipotle.tsv',sep='\t') print(data.head(10)) print(data.shape) print('columns:',data.columns) print('info\n',data.info()) print('index\n',data.index) print(data['item_name'].value_counts().head(1)) ###查看重复值的个数 print(data['item_name'].nunique()) ##查看商品数 print(data['choice_description'].value_counts().head()) print('商品下单数量',data['quantity'].sum()) ##商品下单数量 dollarizer = lambda x: float(x[1:-1]) data.item_price = data.item_price.apply(dollarizer) print('item_price转换为浮点数',data.item_price.head()) #将item_price转换为浮点数 print('收入',data.item_price.sum())#在该数据集对应的时期内，收入(revenue)是多少¶ print('订单数',data['order_id'].value_counts().count())# 在该数据集对应的时期内，一共有多少订单？ print('每一单(order)对应的平均总价是:',data.groupby(by=['order_id']).sum().mean()['item_price']) print(' 一共有多少种不同的商品被售出',data['item_name'].value_counts().count())

2 - 数据过滤与排序 探索2012欧洲杯数据 – 将数据集命名为euro12 – 只选取 Goals 这一列 – 有多少球队参与了2012欧洲杯？ – 该数据集中一共有多少列(columns)? – 将数据集中的列Team, Yellow Cards和Red Cards单独存为一个名叫discipline的数据框 – 对数据框discipline按照先Red Cards再Yellow Cards进行排序 – 计算每个球队拿到的黄牌数的平均值 – 找到进球数Goals超过6的球队数据 – 选取以字母G开头的球队数据 – 选取前7列 – 选取除了最后3列之外的全部列 – 找到英格兰(England)、意大利(Italy)和俄罗斯(Russia)的射正率(Shooting Accuracy)

import pandas as pd data=pd.read_csv('../data/Euro2012.csv') print(data.shape) print('columns:',data.columns) print('info',data.info()) discipline = data[['Team', 'Yellow Cards', 'Red Cards']] print(discipline) print(discipline.sort_values(['Red Cards','Yellow Cards'],ascending = False))#对数据框discipline按照先Red Cards再Yellow Cards进行排序 print('计算每个球队拿到的黄牌数的平均值',round(discipline['Yellow Cards'].mean()))#计算每个球队拿到的黄牌数的平均值 print('找到进球数Goals超过6的球队数据¶',data[data['Goals']>6]) print(data[data['Team'].str.startswith('G')]) print(data.loc[data['Team'].isin(['England','Italy','Russia']),['Team','Shooting Accuracy'] ])

练习3-数据分组 探索酒类消费数据 – 将数据框命名为drinks – 哪个大陆(continent)平均消耗的啤酒(beer)更多？ – 打印出每个大陆(continent)的红酒消耗(wine_servings)的描述性统计值 – 打印出每个大陆每种酒类别的消耗平均值 – 打印出每个大陆每种酒类别的消耗中位数 – 打印出每个大陆对spirit饮品消耗的平均值，最大值和最小值

import pandas as pd drinks=pd.read_csv('../data/drinks.csv') print(drinks.shape) #print(drinks.values) print(drinks.columns) print(drinks.index) ####哪个大陆(continent)平均消耗的啤酒(beer)更多 print(drinks[['continent','beer_servings']].groupby(by=['continent']).mean().sort_values(by=['beer_servings'],ascending=False).head(1)) #打印出每个大陆(continent)的红酒消耗(wine_servings)的描述性统计值 print(drinks.groupby('continent').wine_servings.describe()) #打印出每个大陆每种酒类别的消耗中位数 print(drinks.groupby(['continent']).median()) ##打印出每个大陆对spirit饮品消耗的平均值，最大值和最小值 print(drinks.groupby(['continent']).spirit_servings.agg(['mean','max','min']))

练习4-Apply函数 探索1960 - 2014 美国犯罪数据 – 将数据框命名为crime – 每一列(column)的数据类型是什么样的？ – 将Year的数据类型转换为 datetime64 – 将列Year设置为数据框的索引 – 删除名为Total的列 – 按照Year（每十年）对数据框进行分组并求和 – 何时是美国历史上生存最危险的年代？

import pandas as pd import numpy as np data=pd.read_csv('../data/US_Crime_Rates_1960_2014.csv') print(data.shape) print(data.index) print(data.head()) print(data.columns) data.Year = pd.to_datetime(data.Year, format='%Y') print(data['Year'].head()) data = data.set_index('Year', drop = True) print(data.head()) data=data.drop(labels='Total',axis=1) print(data.shape)

练习5-合并 探索虚拟姓名数据 – 创建DataFrame – 将上述的DataFrame分别命名为data1, data2, data3 – 将data1和data2两个数据框按照行的维度进行合并，命名为all_data – 将data1和data2两个数据框按照列的维度进行合并，命名为all_data_col – 打印data3 – 按照subject_id的值对all_data和data3作合并 – 对data1和data2按照subject_id作连接 – 找到 data1 和 data2 合并之后的所有匹配结果

import numpy as np import pandas as pd raw_data_1 = { 'subject_id': ['1', '2', '3', '4', '5'], 'first_name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'last_name': ['Anderson', 'Ackerman', 'Ali', 'Aoni', 'Atiches']} raw_data_2 = { 'subject_id': ['4', '5', '6', '7', '8'], 'first_name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'], 'last_name': ['Bonder', 'Black', 'Balwner', 'Brice', 'Btisan']} raw_data_3 = { 'subject_id': ['1', '2', '3', '4', '5', '7', '8', '9', '10', '11'], 'test_id': [51, 15, 15, 61, 16, 14, 15, 1, 61, 16]} print(raw_data_1) data1 = pd.DataFrame(raw_data_1, columns = ['subject_id', 'first_name', 'last_name']) data2 = pd.DataFrame(raw_data_2, columns = ['subject_id', 'first_name', 'last_name']) data3 = pd.DataFrame(raw_data_3, columns = ['subject_id','test_id']) print(data1) all_data=pd.concat([data1,data2]) print(all_data) all_data_col = pd.concat([data1, data2], axis = 1) print(all_data_col) #print(pd.concat([all_data,data3])) print(pd.merge(all_data, data3, on='subject_id')) print(pd.merge(data1, data2, on='subject_id', how='inner')) print(pd.merge(data1, data2, on='subject_id', how='outer'))

练习6-统计 探索风速数据 – 将数据作存储并且设置前三列为合适的索引 – 2061年？我们真的有这一年的数据？创建一个函数并用它去修复这个bug – 将日期设为索引，注意数据类型，应该是datetime64[ns] – 对应每一个location，一共有多少数据值缺失 – 对应每一个location，一共有多少完整的数据值 – 对于全体数据，计算风速的平均值 – 创建一个名为loc_stats的数据框去计算并存储每个location的风速最小值，最大值，平均值和标准差 – 创建一个名为day_stats的数据框去计算并存储所有location的风速最小值，最大值，平均值和标准差 – 对于每一个location，计算一月份的平均风速 – 对于数据记录按照年为频率取样 – 对于数据记录按照月为频率取样

import pandas as pd import datetime df = pd.read_csv('../data/wind.csv',sep='\s+',parse_dates=[[0,1,2]]) print(df.shape) print(df.values) print(df.columns) def fix_century(x): year = x.year - 100 if x.year>1999 else x.year return datetime.date(year,x.month,x.day) df['Yr_Mo_Dy'] = df['Yr_Mo_Dy'].agg(fix_century) #将日期设为索引，注意数据类型，应该是datetime64[ns] df['Yr_Mo_Dy'] = pd.to_datetime(df['Yr_Mo_Dy']) print(df.head()) df = df.set_index('Yr_Mo_Dy') print('\n',df.head()) print('#对应每一个location，一共有多少数据值缺失\n',df.isnull().sum()) print(df.shape[1] - df.isnull().sum()) #对于全体数据，计算风速的平均值 print(df.mean().mean()) #创建一个名为loc_stats的数据框去计算并存储每个location的风速最小值，最大值，平均值和标准差 loc_stats = pd.DataFrame() loc_stats['min'] = df.min() loc_stats['max'] = df.max() loc_stats['mean'] = df.mean() loc_stats['std'] = df.std() print(df.min()) #创建一个名为day_stats的数据框去计算并存储所有天的风速最小值，最大值，平均值和标准差 day_stats = pd.DataFrame() day_stats['min'] = df.min(axis=1) day_stats['max'] = df.max(axis=1) day_stats['mean'] = df.mean(axis=1) day_stats['std'] = df.std(axis=1) print(df.min(axis=1).head()) #对于每一个location，计算一月份的平均风速 df['date'] = df.index df['year'] = df['date'].apply(lambda df: df.year) df['month'] = df['date'].apply(lambda df: df.month) df['day'] = df['date'].apply(lambda df: df.day) print('df.year:',df.year.head()) january_winds = df[df.month==1] print(january_winds.loc[:,'RPT':'MAL'].mean()) print(df.query('month ==1 and day == 1').head()) print(df.query('day == 1').head())

练习7-可视化 探索泰坦尼克灾难数据 – 将数据框命名为titanic – 将PassengerId设置为索引 – 绘制一个展示男女乘客比例的扇形图 – 绘制一个展示船票Fare, 与乘客年龄和性别的散点图 – 有多少人生还？ – 绘制一个展示船票价格的直方图

import pandas as pd import matplotlib.pyplot as plt #import seaborn as sns import numpy as np #将数据框命名为titanic titanic = pd.read_csv('../data/train.csv') print(titanic.shape) print(titanic.columns) print(titanic.head()) #将PassengerId设置为索引 titanic = titanic.set_index('PassengerId') print(titanic.head()) #绘制一个展示男女乘客比例的扇形图 Male=(titanic.Sex=='male').sum() Female = (titanic.Sex == 'female').sum() proportions = [Male,Female] plt.pie(proportions, labels=['Male','Female'],shadow=True, autopct='%1.1f%%',startangle=90,explode=(0.15,0)) plt.axis('scaled') plt.title('Sex Proportion') plt.tight_layout()##自动调整子图参数，使之填充整个图像区域 plt.show() #绘制一个展示船票Fare, 与乘客年龄和性别的散点图 #lm = sns.lmplot(x='Age',y='Fare', data=titanic,hue='Sex',fit_reg=False) #lm.set(title='Fare x Age') #绘制一个展示船票价格的直方图 df = titanic.Fare.sort_values(ascending = False) print(df,df.shape) plt.hist(df,bins = (np.arange(0,600,10))) plt.xlabel('Fare') plt.ylabel('Frequency') plt.title('Fare Payed Histrogram') plt.show()

练习8-创建数据框 探索Pokemon数据

– 创建一个数据字典 – 将数据字典存为一个名叫pokemon的数据框中 – 数据框的列排序是字母顺序，请重新修改为name, type, hp, evolution, pokedex这个顺序 – 添加一个列place[‘park’,‘street’,‘lake’,‘forest’] – 查看每个列的数据类型

import pandas as pd #创建一个数据字典 raw_data = {"name": ['Bulbasaur', 'Charmander','Squirtle','Caterpie'], "evolution": ['Ivysaur','Charmeleon','Wartortle','Metapod'], "type": ['grass', 'fire', 'water', 'bug'], "hp": [45, 39, 44, 45], "pokedex": ['yes', 'no','yes','no'] } pokemon=pd.DataFrame(raw_data) print(pokemon.columns) pokemon = pokemon[['name', 'type', 'hp', 'evolution', 'pokedex']] print(pokemon.columns) #添加一个列place['park','street','lake','forest'] pokemon['place'] = ['park','street','lake','forest'] #看每个列的数据类型 print(pokemon.dtypes)

练习9-时间序列 探索Apple公司股价数据 – 读取数据并存为一个名叫apple的数据框 – 查看每一列的数据类型 – 将Date这个列转换为datetime类型 – 将Date设置为索引 – 有重复的日期吗？ – 将index设置为升序 – 找到每个月的最后一个交易日(business day) – 数据集中最早的日期和最晚的日期相差多少天？ – 在数据中一共有多少个月？ – 按照时间顺序可视化Adj Close值

import pandas as pd apple=pd.read_csv('../data/appl_1980_2014.csv') print(apple.shape) print(apple.columns) print(apple.head()) apple.Date=pd.to_datetime(apple.Date) apple=apple.set_index('Date')##有重复的日期吗？ print(apple.index.is_unique) #将index设置为升序 apple=apple.sort_index(ascending=True) print(apple.head()) #找到每个月的最后一个交易日(business day) apple_month = apple.resample('BM').mean() print('每个月的最后一个交易日:',apple_month.head()) print('#数据集中最早的日期和最晚的日期相差多少天？', (apple.index.max() - apple.index.min()).days) #在数据中一共有多少个月？ print(len(apple_month)) #按照时间顺序可视化Adj Close值 apple['Adj Close'].plot(title = 'Apple Stock').get_figure().set_size_inches(9,5)

练习10-删除数据 探索Iris纸鸢花数据 – 将数据集存成变量iris – 创建数据框的列名称[‘sepal_length’,‘sepal_width’, ‘petal_length’, ‘petal_width’, ‘class’] – 数据框中有缺失值吗？ – 将列petal_length的第10到19行设置为缺失值 – 将petal_lengt缺失值全部替换为1.0 – 删除列class – 将数据框前三行设置为缺失值 – 删除有缺失值的行 – 重新设置索引

import pandas as pd import numpy as np #读取数据并存为一个名叫apple的数据框 iris = pd.read_csv('../data/iris.data') print(iris.shape,'\n') iris.columns = ['sepal_length','sepal_width', 'petal_length', 'petal_width', 'class'] print(iris.isnull().sum()) iris.petal_length.loc[10:19]=np.nan print(iris.petal_length.loc[10:19]) iris.petal_length.fillna(1,inplace=True) print(iris.petal_length.loc[10:19]) iris=iris.drop(labels='class',axis=1) print(iris.shape) #将数据框前三行设置为缺失值 iris.loc[0:2,:]=np.nan #删除有缺失值的行 iris = iris.dropna(how='any') print(iris.index,'\n',iris.head()) #重新设置索引 iris = iris.reset_index(drop = True)#加上drop参数，原有索引就不会成为新的列 print(iris.head())