手机ui设计网站,营销型网站建设大千建站,制作类似网站软件,中建八局招聘最低学历大家好#xff0c;今天回顾五种引入数据的Python技术#xff0c;并附有代码实例参考。
我们将使用Numpy、Pandas和Pickle包#xff0c;所以要导入它们#xff1a;
import numpy as np
import pandas as pd
import pickle
Manual功能
这是最困难的#xff0c;因为你必须…大家好今天回顾五种引入数据的Python技术并附有代码实例参考。
我们将使用Numpy、Pandas和Pickle包所以要导入它们
import numpy as np
import pandas as pd
import pickle
Manual功能
这是最困难的因为你必须设计一个自定义函数它可以为你加载数据必须处理Python的正常归档概念并利用它来读取一个.csv文件。
def load_csv(filepath):data []col []checkcol Falsewith open(filepath) as f:for val in f.readlines():val val.replace(\n,)val val.split(,)if checkcol is False:col valcheckcol Trueelse:data.append(val)df pd.DataFrame(datadata, columnscol)return df
输出
myData load_csv(100 Sales Record.csv)
print(myData.head())
Numpy.loadtxt函数
这是Numpy中的一个内置函数Numpy是Python中一个著名的数值库。它是一个非常简单的加载数据的函数。它对于读取相同数据类型的数据非常有用。
当数据比较复杂时使用这个函数很难读取但当文件比较容易和简单时这个函数真的很强大。
df np.loadtxt(convertcsv.csv, delimeter ,)这里我们简单地使用了loadtxt函数因为这是一个CSV文件所以在delimeter中传递了,。
现在如果我们打印df我们将看到我们的数据在相当体面的numpy数组中可以随时使用。
print(df[:5,:]) Numpy.genfromtxt()
我们将使用我们在第一个例子中使用的数据集100 Sales Records.csv来证明我们可以在其中有多种数据类型。
data np.genfromtxt(100 Sales Records.csv, delimiter,)为了更清楚地看到它我们可以直接用数据框架的格式来看 pd.DataFrame(data)
只需添加另一个dtype参数并将dtype设置为None这意味着它必须照顾到每一列的数据类型本身。而不是将整个数据转换为单一的dtype。
data np.genfromtxt(100 Sales Records.csv, delimiter,, dtypeNone)然后再进行输出 pd.DataFrame(data).head() Pandas.read_csv()
Pandas是一个非常流行的数据处理库而且它非常常用。它的一个非常重要和成熟的函数是read_csv()它可以非常容易地读取任何.csv文件并帮助我们操作它。让我们在我们的100-销售记录数据集上做一下。 pdDf pd.read_csv(100 Sales Record.csv)pdDf.head()
Pandas.read_csv提供了很多其他的参数来调整我们的数据集例如在我们的convertcsv.csv文件中我们没有列名所以我们可以把它读成。 newdf pd.read_csv(convertcsv.csv, headerNone)newdf.head()我们可以看到它已经读取了没有标题的csv文件。
Pickle
当你的数据不是一个好的、人类可读的格式时你可以使用pickle把它保存为二进制格式然后你可以使用pickle库轻松地重新加载它。
with open(test.pkl,wb) as f:pickle.dump(pdDf, f)这将创建一个新的文件test.pkl里面有我们来自Pandas的pdDf标题。
现在要用pickle打开它我们只需要使用pickle.load函数。
with open(test.pkl, rb) as f:d4 pickle.load(f) d4.head()而在这里我们已经成功地从pandas.DataFrame格式的pickle文件中加载数据。
你现在知道了在Python中加载数据文件的5种不同方法当你在日常项目中工作时这些方法可以帮助你以不同方式加载数据集。
