设计师必备网站,拥有自己的网站 如何做推广,重庆锅炉网站建设公司,做国外进口衣服的网站数据处理的时候经常性需要整理出表格#xff0c;在这里介绍pandas常见使用#xff0c;目录如下#xff1a;
数据结构导入导出文件对数据进行操作 – 增加数据#xff08;创建数据#xff09; – 删除数据 – 改动数据 – 查找数据 – 常用操作#xff08;转置#xff0…数据处理的时候经常性需要整理出表格在这里介绍pandas常见使用目录如下
数据结构导入导出文件对数据进行操作 – 增加数据创建数据 – 删除数据 – 改动数据 – 查找数据 – 常用操作转置常用统计值
参考链接10 minutes to pandas https://pandas.pydata.org/docs/user_guide/10min.html#min 数据结构
Pandas常见的就两种数据类型Series和DataFrame可以对应理解为向量和矩阵前者是一维的后者是二维的。在DF中类似统计学中的数据组织方式一行代表一项数据一列代表一种特征用这种方式记忆能够帮你更好理解DF。需要注意的是在DF中index是行column是列。 导入导出数据
常使用.csv格式的文件我们在导入数据的时候使用pd.read_csv()在导出数据的时候用df.write_csv(“/data/ymz.csv”).
# 读入数据
In [144]: pd.read_csv(foo.csv)
Out[144]: Unnamed: 0 A B C D
0 2000-01-01 0.350262 0.843315 1.798556 0.782234
1 2000-01-02 -0.586873 0.034907 1.923792 -0.562651
2 2000-01-03 -1.245477 -0.963406 2.269575 -1.612566
3 2000-01-04 -0.252830 -0.498066 3.176886 -1.275581
4 2000-01-05 -1.044057 0.118042 2.768571 0.386039
.. ... ... ... ... ...
995 2002-09-22 -48.017654 31.474551 69.146374 -47.541670
996 2002-09-23 -47.207912 32.627390 68.505254 -48.828331
997 2002-09-24 -48.907133 31.990402 67.310924 -49.391051
998 2002-09-25 -50.146062 33.716770 67.717434 -49.037577
999 2002-09-26 -49.724318 33.479952 68.108014 -48.822030[1000 rows x 5 columns]# 写出数据
In [143]: df.to_csv(foo.csv)对数据进行操作
对数据操作包括增创建删改查。
增加数据创建数据
相比较Series我们更常使用DataFrame数据类型常使用的创建DataFrame类型有两种一种是使用data创建注意data得是一个二维list/array等一种是使用字典创建。
1. 使用data创建DF
# 使用data导入
In [5]: dates pd.date_range(20130101, periods6)In [6]: dates
Out[6]:
DatetimeIndex([2013-01-01, 2013-01-02, 2013-01-03, 2013-01-04,2013-01-05, 2013-01-06],dtypedatetime64[ns], freqD)In [7]: df pd.DataFrame(datanp.random.randn(6, 4), indexdates, columnslist(ABCD))In [8]: df
Out[8]: A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
2013-01-06 -0.673690 0.113648 -1.478427 0.5249882. 使用字典创建DF
# 使用字典
In [9]: df2 pd.DataFrame(...: {...: A: 1.0,...: B: pd.Timestamp(20130102),...: C: pd.Series(1, indexlist(range(4)), dtypefloat32),...: D: np.array([3] * 4, dtypeint32),...: E: pd.Categorical([test, train, test, train]),...: F: foo,...: }...: )...: In [10]: df2
Out[10]: A B C D E F
0 1.0 2013-01-02 1.0 3 test foo
1 1.0 2013-01-02 1.0 3 train foo
2 1.0 2013-01-02 1.0 3 test foo
3 1.0 2013-01-02 1.0 3 train foo3. 增加一行数据
1使用loc在行尾增加
增加一行数据的方法有loc, iloc, append, concat, merge。这里介绍一下locloc[index]是在一行的最后增加数据。但是你需要注意loc[index]中的index如果与已出现过的index相同则会覆盖原先index行若不相同则才会增加一行数据。 2使用concat将两个DF合并
concat()也是一个增加数据常用的方法常见于两个表的拼接与爬虫使用中作用类似于append()但是append()将在不久后被pandas舍弃所以还是推荐使用concat()。 4. 增加一列数据
增加一列数据的方法直接用[]便可例子如下 Series用的比较少案例如下
In [3]: s pd.Series([1, 3, 5, np.nan, 6, 8])In [4]: s
Out[4]:
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64删除数据
对于删除数据我们使用drop()方法并指定参数为index行或者column列
1. 删除一行数据 2. 删除一列数据 改动数据
改动一行列数据常用loc()和[]方法。
1. 改动一行数据
改动一行我们使用loc[][…]进行更改。 2. 改动一列数据
改动一列数据我们使用[]进行更改。 查找数据
在查找数据的时候我们常使用[]来查看行列数据配合.T来将矩阵转置。也可以使用head()tail()来查看前几行和后几行数据。
1. 查看特定行数据
使用.loc[index]来查看特定行数据或者[]。建议使用.loc[]方法或者.iloc[]方法loc[]通过行的名字寻找iloc[]通过索引寻找。
使用类似[0:2]来查看特定行数据和python中list使用类似。这个方法其实是调用了__getitem__()方法。 2. 查看特定列数据
我们需要使用两层[]嵌套来访问数据例如[ [“j”, “i”] ]。 3. 查看特定元素
确定第几行第几列后使用.loc()方法或者.iloc()方法查找。
b a.loc[ 1, dir_name ]常用操作
数据分析时常用的两个操作转置和计算统计量。
1. 转置
使用.T便可以完成。 2. 计算统计量
使用.describe()。 3. 舍弃一列中多余重复数据
使用.drop_duplicates()
id_df self.frames_meta_sub[[time_idx, pos_idx, slice_idx]].drop_duplicates()4. 将特定列转成numpy后处理
使用.to_numpy()方法将你所选择的数据全部转成二维的或者一维的ndarray需要注意的是to_numpy()并不仅仅局限于数字字符串也是可以转换的虽然这样开销比较大ndarray能存储字符串这会让你处理数据的过程变得异常简单。有几个维度取决于你取了几行或者几列。
df df[ [channel] ]
ar df.to_numpy()5. 取出dataframe中特定位置的值
要取出 DataFrame 中特定位置的值可以使用 .loc 或 .iloc 方法具体取决于您想要使用的索引类型。
如果您使用标签索引例如行和列都使用标签名称则可以使用 .loc 方法。例如如果您有一个名为 df 的 DataFrame它具有行标签为 row_label列标签为 column_label 的元素则可以使用以下代码获取该元素的值
value df.loc[row_label, column_label]如果您使用整数位置索引例如行和列都使用整数位置则可以使用 .iloc 方法。例如如果您有一个名为 df 的 DataFrame它具有第一个行和第一个列的元素则可以使用以下代码获取该元素的值
value df.iloc[0, 0]请注意索引从零开始因此第一个行和第一个列的位置为 0。
