个人手机网站大全,产品营销方案案例范文,chatgpt openai,网站内容框架Python学习笔记第五十七天 Pandas 数据清洗Pandas 清洗空值isnull() Pandas替换单元格mean()median()mode() Pandas 清洗格式错误数据Pandas 清洗错误数据Pandas 清洗重复数据duplicated()drop_duplicates() 后记 Pandas 数据清洗
数据清洗是对一些没有用的数据进行处理的过程… Python学习笔记第五十七天 Pandas 数据清洗Pandas 清洗空值isnull() Pandas替换单元格mean()median()mode() Pandas 清洗格式错误数据Pandas 清洗错误数据Pandas 清洗重复数据duplicated()drop_duplicates() 后记 Pandas 数据清洗
数据清洗是对一些没有用的数据进行处理的过程。
很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况如果要使数据分析更加准确就需要对这些没有用的数据进行处理。
在这个教程中我们将利用 Pandas包来进行数据清洗。 本文使用到的测试数据 property-data.csv 如下 上表包含了四种空数据
n/aNA—na
Pandas 清洗空值
如果我们要删除包含空字段的行可以使用 dropna() 方法语法格式如下
DataFrame.dropna(axis0, howany, threshNone, subsetNone, inplaceFalse)参数说明
axis默认为 0表示逢空值剔除整行如果设置参数 axis1 表示逢空值去掉整列。how默认为 ‘any’ 如果一行或一列里任何一个数据有出现 NA 就去掉整行如果设置 how‘all’ 一行或列都是 NA 才去掉这整行。thresh设置需要多少非空值的数据才可以保留下来的。subset设置想要检查的列。如果是多个列可以使用列名的 list 作为参数。inplace如果设置 True将计算得到的值直接覆盖之前的值并返回 None修改的是源数据。
isnull()
我们可以通过 isnull() 判断各个单元格是否为空。
# 实例 1
import pandas as pd
df pd.read_csv(property-data.csv)
print (df[NUM_BEDROOMS])
print (df[NUM_BEDROOMS].isnull())以上例子中Pandas 把 n/a 和 NA 当作空数据na 不是空数据不符合我们要求我们可以指定空数据类型
# 实例 2
import pandas as pd
missing_values [n/a, na, --]
df pd.read_csv(property-data.csv, na_values missing_values)
print (df[NUM_BEDROOMS])
print (df[NUM_BEDROOMS].isnull())使用 pd.read_csv 函数读取了一个名为 ‘property-data.csv’ 的CSV文件并将其存储在 df 变量中df.dropna() 这行代码从原始DataFrame在变量 df 中中删除了包含空数据的行将新的不含空数据行DataFrame转换为字符串并打印出来。
# 实例 3
import pandas as pd
df pd.read_csv(property-data.csv)
new_df df.dropna()
print(new_df.to_string())注意默认情况下dropna() 方法返回一个新的 DataFrame不会修改源数据。 如果你的 ‘property-data.csv’ 文件中有一些行包含空数据例如某个或多个列的值为空那么这些行将会被删除新的DataFramenew_df将不包含这些行。 需要注意的是dropna() 默认会删除包含至少一个NaN值的行。如果你想删除所有NaN值并且只保留没有缺失值的行你可以使用 dropna(how‘all’)。 此外你还可以通过设置 axis 参数来指定是行还是列应该被删除。例如df.dropna(axis1) 将删除包含空数据的列。 如果你要修改源数据 DataFrame, 可以使用 inplace True 参数
# 实例 4
import pandas as pd
df pd.read_csv(property-data.csv)
df.dropna(inplace True)
print(df.to_string())也可以移除指定列有空值的行
# 实例 5
import pandas as pd
df pd.read_csv(property-data.csv)
# 移除 ST_NUM 列中字段值为空的行
df.dropna(subset[ST_NUM], inplace True)
print(df.to_string())也可以 fillna() 方法来替换一些空字段
# 实例 6
import pandas as pd
df pd.read_csv(property-data.csv)
# 使用 12345 替换空字段
df.fillna(12345, inplace True)
print(df.to_string())也可以指定某一个列来替换数据
# 实例 7
import pandas as pd
df pd.read_csv(property-data.csv)
# 使用 12345 替换 PID 为空数据
df[PID].fillna(12345, inplace True)
print(df.to_string())Pandas替换单元格
替换空单元格的常用方法是计算列的均值、中位数值或众数。
Pandas使用 mean()、median() 和 mode() 方法计算列的均值所有值加起来的平均值、中位数值排序后排在中间的数和众数出现频率最高的数。
mean()
使用 mean() 方法计算列的均值并替换空单元格
# 实例 8
import pandas as pd
df pd.read_csv(property-data.csv)
x df[ST_NUM].mean()
df[ST_NUM].fillna(x, inplace True)
print(df.to_string())median()
使用 median() 方法计算列的中位数并替换空单元格
# 实例 9
import pandas as pd
df pd.read_csv(property-data.csv)
x df[ST_NUM].median()
df[ST_NUM].fillna(x, inplace True)
print(df.to_string())mode()
使用 mode() 方法计算列的众数并替换空单元格
# 实例 10
import pandas as pd
df pd.read_csv(property-data.csv)
x df[ST_NUM].mode()
df[ST_NUM].fillna(x, inplace True)
print(df.to_string())Pandas 清洗格式错误数据
数据格式错误的单元格会使数据分析变得困难甚至不可能。
我们可以通过包含空单元格的行或者将列中的所有单元格转换为相同格式的数据。
以下实例会格式化日期
# 实例 11
import pandas as pd
# 第三个日期格式错误
data {Date: [2020/12/01, 2020/12/02 , 20201226],duration: [50, 40, 45]
}
df pd.DataFrame(data, index [day1, day2, day3])
df[Date] pd.to_datetime(df[Date])
print(df.to_string())Pandas 清洗错误数据
数据错误也是很常见的情况我们可以对错误的数据进行替换或移除。
以下实例会替换错误年龄的数据
# 实例 12
import pandas as pd
person {name: [Google, Baidu , Taobao],age: [50, 40, 12345] # 12345 年龄数据是错误的
}
df pd.DataFrame(person)
df.loc[2, age] 30 # 修改数据
print(df.to_string())也可以设置条件语句,将 age 大于 120 的设置为 120
# 实例 13
import pandas as pd
person {name: [Google, Baidu , Taobao],age: [50, 200, 12345]
}
df pd.DataFrame(person)
for x in df.index:if df.loc[x, age] 120:df.loc[x, age] 120
print(df.to_string())也可以将错误数据的行删除将 age 大于 120 的删除
# 实例 14
import pandas as pd
person {name: [Google, Baidu , Taobao],age: [50, 40, 12345] # 12345 年龄数据是错误的
}
df pd.DataFrame(person)
for x in df.index:if df.loc[x, age] 120:df.drop(x, inplace True)
print(df.to_string())Pandas 清洗重复数据
如果我们要清洗重复数据可以使用 duplicated() 和 drop_duplicates() 方法。
duplicated()
如果对应的数据是重复的duplicated() 会返回 True否则返回 False。
# 实例 15
import pandas as pd
person {name: [Google, Baidu, Baidu, Taobao],age: [50, 40, 40, 23]
}
df pd.DataFrame(person)
print(df.duplicated())drop_duplicates()
删除重复数据可以直接使用drop_duplicates() 方法。
# 实例 16
import pandas as pdpersons {name: [Google, Runoob, Runoob, Taobao],age: [50, 40, 40, 23]
}df pd.DataFrame(persons)df.drop_duplicates(inplace True)
print(df)后记
今天学习的是Python Pandas 数据清洗学会了吗。 今天学习内容总结一下
Pandas 数据清洗Pandas 清洗空值Pandas替换单元格Pandas 清洗格式错误数据Pandas 清洗错误数据Pandas 清洗重复数据
