网站建站四种方案,成都筑巢网站建设,商城网站建设多少钱,企业做网站有用吗天涯文章目录 序言1. 数据存成csv、txt还是pkl2. pandas怎么读取csv、txt文件或者pkl文件3. 数据格式#xff1a;pkl文件补充介绍 序言
用什么格式存储场景挖掘得到的数据目前为止用到过的一些数据存储格式#xff0c;如proto/xml/json/txt/csv等#xff0c;还有pkl#xff0c… 文章目录 序言1. 数据存成csv、txt还是pkl2. pandas怎么读取csv、txt文件或者pkl文件3. 数据格式pkl文件补充介绍 序言
用什么格式存储场景挖掘得到的数据目前为止用到过的一些数据存储格式如proto/xml/json/txt/csv等还有pkl哪种比较适合数据集存储呢
1. 数据存成csv、txt还是pkl csv和txt都是文本文件pkl是二进制文件 csv 数据量小的话推荐将数据存成csv以逗号分隔的文本文件可直接更改后缀为其他文件csv可在其他语言如python/matlab/R/excel中自由切换数据格式不受损 txt txt的优势是体积小便于存储一般以空格为分隔符 pkl 如果数据量大、内存吃紧而且访问的时候要按照batch访问硬盘读取效率最高的是pklpkl还能直接保存成tensor节省了读取后转成tensor的时间避免了数据二次处理 当然还有其他的一些格式npy等 读取效率排序pkl npy csv
2. pandas怎么读取csv、txt文件或者pkl文件 pandas是数据处理必不可少的库 读取csv常用的两个函数pandas.read_csv 和 pandas.to_csv datapd.read_csv(./mydata.csv) # 读取csv格式文件
data.to_csv(./my_new_data.csv) # 生成csv格式文件读取txtpandas在读取txt时read_csv和read_table均可使用 data pd.read_table(./mydatat.txt) # 调用read_table函数读取txt文件
df pd.read_csv(./my_new_data.txtsep,) # 调用read_csv函数读取txt文件读取pkl data.to_pickle(filePath) # pandas, 文件保存
data.read_pickle(filePath) # pandas, 文件读取import picklewith open(filePath, wb) as f:pickle.dump(data, f) # pickle模块文件保存with open(filePath, rb) as f:data pickle.load(fp) # pickle模块文件读取3. 数据格式pkl文件补充介绍 pkl是指使用pyhton的pickle模块生成的二进制文件用于将对象序列化到磁盘上可以存储为.pkl文件。即pkl能提供一种简单有效的方法来序列化或者反序列化python对象使其易于存储传输和共享 pkl可以将python项目中过程变量如字符串、列表、字典等数据保存起来pkl甚至能保存模型下次接着训练 pkl转csv import pickle as pkl
import pandas as pdwith open(rdata.pkl, rb) as f:object pkl.load(f,encodinglatin1)
df pd.DataFrame(object)df.to_csv(rData.csv)object pkl.load(f,encodinglatin1)容易在encoding处报错可以根据实际pkl的编码规则更改为encoding‘utf-8’ 【参考文章】 数据保存成csv/txt/pkl文件 pkl文件介绍 保存和读取pkl文件 pkl格式文件 读取生成csv/txt
created by shuaixio, 2023.10.03
