pandas对缺失值的处理¶

Pandas使用这些函数处理缺失值：

  • isnull和notnull：检测是否是空值，可用于df和series
  • dropna：丢弃、删除缺失值
    • axis : 删除行还是列，{0 or ‘index’, 1 or ‘columns’}, default 0
    • how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除
    • inplace : 如果为True则修改当前df，否则返回新的df
  • fillna：填充空值
    • value：用于填充的值，可以是单个值，或者字典（key是列名，value是值）
    • method : 等于ffill使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充backword fill
    • axis : 按行还是列填充，{0 or ‘index’, 1 or ‘columns’}
    • inplace : 如果为True则修改当前df，否则返回新的df
In [75]:
import pandas as pd

实例：特殊excel的读取、清洗、处理¶

步骤1：读取excel时，忽略前几个空行¶

In [76]:
studf = pd.read_excel("../datas/student_excel/student_excel.xlsx",skiprows=2)
In [77]:
studf
Out[77]:
Unnamed: 0 姓名 科目 分数
0 NaN 小明 语文 85.0
1 NaN NaN 数学 80.0
2 NaN NaN 英语 90.0
3 NaN NaN NaN NaN
4 NaN 小王 语文 85.0
5 NaN NaN 数学 NaN
6 NaN NaN 英语 90.0
7 NaN NaN NaN NaN
8 NaN 小刚 语文 85.0
9 NaN NaN 数学 80.0
10 NaN NaN 英语 90.0

步骤2：检测空值¶

检测所有¶

In [78]:
studf.isnull()
Out[78]:
Unnamed: 0 姓名 科目 分数
0 True False False False
1 True True False False
2 True True False False
3 True True True True
4 True False False False
5 True True False True
6 True True False False
7 True True True True
8 True False False False
9 True True False False
10 True True False False

检测单列¶

In [79]:
# studf["分数"].notnull()#不为空
studf["分数"].isnull()#为空
Out[79]:
0     False
1     False
2     False
3      True
4     False
5      True
6     False
7      True
8     False
9     False
10    False
Name: 分数, dtype: bool

筛选没有空分数的所有行¶

In [80]:
studf.loc[studf["分数"].notnull(),:]
Out[80]:
Unnamed: 0 姓名 科目 分数
0 NaN 小明 语文 85.0
1 NaN NaN 数学 80.0
2 NaN NaN 英语 90.0
4 NaN 小王 语文 85.0
6 NaN NaN 英语 90.0
8 NaN 小刚 语文 85.0
9 NaN NaN 数学 80.0
10 NaN NaN 英语 90.0

步骤3：删除全是空值的列¶

In [81]:
studf.dropna(axis="columns",how="all",inplace=True)
studf
Out[81]:
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
3 NaN NaN NaN
4 小王 语文 85.0
5 NaN 数学 NaN
6 NaN 英语 90.0
7 NaN NaN NaN
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0

步骤4:删除全是空值的行¶

In [82]:
studf.dropna(axis="index",how="all",inplace=True)
studf
Out[82]:
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 NaN
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0

步骤5：将分数列为空的填充为0分¶

In [83]:
studf.fillna({"分数":0},inplace=True)
# 等同于
# studf.loc[;,"分数"] = studf["分数"].fillna(0)
In [84]:
studf
Out[84]:
姓名 科目 分数
0 小明 语文 85.0
1 NaN 数学 80.0
2 NaN 英语 90.0
4 小王 语文 85.0
5 NaN 数学 0.0
6 NaN 英语 90.0
8 小刚 语文 85.0
9 NaN 数学 80.0
10 NaN 英语 90.0

步骤6：将姓名的缺失值填充¶

使用前面的有效值填充，用ffill:forward fill

In [85]:
studf.loc[:,"姓名"] = studf["姓名"].fillna(method = "ffill")
studf
Out[85]:
姓名 科目 分数
0 小明 语文 85.0
1 小明 数学 80.0
2 小明 英语 90.0
4 小王 语文 85.0
5 小王 数学 0.0
6 小王 英语 90.0
8 小刚 语文 85.0
9 小刚 数学 80.0
10 小刚 英语 90.0

步骤7：将洗好的excel保存¶

In [88]:
studf.to_excel("../datas/student_excel/student_excel_clean.xlsx",index=False)
In [ ]: