内蒙古网站建设百度,湘西网站建设公司,wordpress 首字母标签页,WordPress站点地图html代码本教程的知识点为#xff1a;机器学习#xff08;常用科学计算库的使用#xff09;基础定位 机器学习概述 机器学习概述 1.5 机器学习算法分类 1 监督学习 机器学习概述 1.7 Azure机器学习模型搭建实验 Azure平台简介 Matplotlib 3.2 基础绘图功能 — 以折线图为例 1 完善原…
本教程的知识点为机器学习常用科学计算库的使用基础定位 机器学习概述 机器学习概述 1.5 机器学习算法分类 1 监督学习 机器学习概述 1.7 Azure机器学习模型搭建实验 Azure平台简介 Matplotlib 3.2 基础绘图功能 — 以折线图为例 1 完善原始折线图 — 给图形添加辅助功能 Matplotlib 3.3 常见图形绘制 1 常见图形种类及意义 Numpy 4.2 N维数组-ndarray 1 ndarray的属性 Numpy 4.4 ndarray运算 问题 Pandas 5.1Pandas介绍 1 Pandas介绍 Pandas 5.3 基本数据操作 1 索引操作 Pandas 5.6 文件读取与存储 1 CSV Pandas 5.8 高级处理-数据离散化 1 为什么要离散化 Pandas 5.12 案例 1 需求
完整笔记资料代码https://gitee.com/yinuo112/AI/tree/master/机器学习/嘿马机器学习科学计算库/note.md
感兴趣的小伙伴可以自取哦~ 全套教程部分目录 部分文件图片 Pandas
学习目标
了解Numpy与Pandas的不同说明Pandas的Series与Dataframe两种结构的区别了解Pandas的MultiIndex与panel结构应用Pandas实现基本数据操作应用Pandas实现数据的合并应用crosstab和pivot_table实现交叉表与透视表应用groupby和聚合函数实现数据的分组与聚合了解Pandas的plot画图功能应用Pandas实现数据的读取和存储
5.8 高级处理-数据离散化
学习目标 目标 应用cut、qcut实现数据的区间分组 应用get_dummies实现数据的one-hot编码 1 为什么要离散化
连续属性离散化的目的是为了简化数据结构数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。
2 什么是数据的离散化
连续属性的离散化就是在连续属性的值域上将值域划分为若干个离散的区间最后用不同的符号或整数 值代表落在每个子区间中的属性值。
离散化有很多种方法这使用一种最简单的方式去操作
原始人的身高数据165174160180159163192184假设按照身高分几个区间段150~165, 165~180,180~195
这样我们将数据分到了三个区间段我可以对应的标记为矮、中、高三个类别最终要处理成一个哑变量矩阵
3 股票的涨跌幅离散化
我们对股票每日的p_change进行离散化 3.1 读取股票的数据
先读取股票的数据筛选出p_change数据
data pd.read_csv(./data/stock_day.csv)
p_change data[p_change]3.2 将股票涨跌幅数据进行分组 使用的工具 pd.qcut(data, q) 对数据进行分组将数据分组一般会与value_counts搭配使用统计每组的个数 series.value_counts()统计分组次数
# 自行分组qcut pd.qcut(p_change, 10)# 计算分到每个组数据个数qcut.value_counts()自定义区间分组
pd.cut(data, bins)
# 自己指定分组区间bins [-100, -7, -5, -3, 0, 3, 5, 7, 100]
p_counts pd.cut(p_change, bins)3.3 股票涨跌幅分组数据变成one-hot编码
什么是one-hot编码
把每个类别生成一个布尔列这些列中只有一列可以为这个样本取值为1.其又被称为独热编码。
把下图中左边的表格转化为使用右边形式进行表示 pandas.get_dummies(data, prefixNone) data:array-like, Series, or DataFrame prefix:分组名字
# 得出one-hot编码矩阵dummies pd.get_dummies(p_counts, prefixrise)4 小结 数据离散化【知道】 可以用来减少给定连续属性值的个数 在连续属性的值域上将值域划分为若干个离散的区间最后用不同的符号或整数值代表落在每个子区间中的属性值。 qcut、cut实现数据分组【知道】 qcut:大致分为相同的几组 cut:自定义分组区间 get_dummies实现哑变量矩阵【知道】
5.9 高级处理-合并
学习目标 目标 应用pd.concat实现数据的合并 应用pd.merge实现数据的合并 如果你的数据由多张表组成那么有时候需要将不同的内容合并在一起分析
1 pd.concat实现数据合并 pd.concat([data1, data2], axis1) 按照行或列进行合并,axis0为列索引axis1为行索引
比如我们将刚才处理好的one-hot编码与原数据合并 # 按照行索引进行pd.concat([data, dummies], axis1)2 pd.merge pd.merge(left, right, howinner, onNone) 可以指定按照两组数据的共同键值对合并或者左右各自 left: DataFrameright: 另一个DataFrameon: 指定的共同键how:按照什么方式连接
Merge methodSQL Join NameDescriptionleftLEFT OUTER JOINUse keys from left frame onlyrightRIGHT OUTER JOINUse keys from right frame onlyouterFULL OUTER JOINUse union of keys from both framesinnerINNER JOINUse intersection of keys from both frames
2.1 pd.merge合并
left pd.DataFrame({key1: [K0, K0, K1, K2],key2: [K0, K1, K0, K1],A: [A0, A1, A2, A3],B: [B0, B1, B2, B3]})right pd.DataFrame({key1: [K0, K1, K1, K2],key2: [K0, K0, K0, K0],C: [C0, C1, C2, C3],D: [D0, D1, D2, D3]})# 默认内连接result pd.merge(left, right, on[key1, key2])左连接
result pd.merge(left, right, howleft, on[key1, key2])右连接
result pd.merge(left, right, howright, on[key1, key2])外链接
result pd.merge(left, right, howouter, on[key1, key2])3 总结
pd.concat([数据1, 数据2], axis**)【知道】 pd.merge(left, right, how, on)【知道】 how -- 以何种方式连接 on -- 连接的键的依据是哪几个
5.10 高级处理-交叉表与透视表
学习目标 目标 应用crosstab和pivot_table实现交叉表与透视表 1 交叉表与透视表什么作用
探究股票的涨跌与星期几有关
以下图当中表示week代表星期几1,0代表这一天股票的涨跌幅是好还是坏里面的数据代表比例
可以理解为所有时间为星期一等等的数据当中涨跌幅好坏的比例 交叉表交叉表用于计算一列数据对于另外一列数据的分组个数(用于统计分组频率的特殊透视表) pd.crosstab(value1, value2) 透视表透视表是将原有的DataFrame的列分别作为行索引和列索引然后对指定的列应用聚集函数 data.pivot_table( DataFrame.pivot_table([], index[])
2 案例分析
2.1 数据准备
准备两列数据星期数据以及涨跌幅是好是坏数据进行交叉表计算
# 寻找星期几跟股票张得的关系# 1、先把对应的日期找到星期几date pd.to_datetime(data.index).weekday
data[week] date# 2、假如把p_change按照大小去分个类0为界限data[posi_neg] np.where(data[p_change] 0, 1, 0)# 通过交叉表找寻两列数据的关系count pd.crosstab(data[week], data[posi_neg])但是我们看到count只是每个星期日子的好坏天数并没有得到比例该怎么去做
对于每个星期一等的总天数求和运用除法运算求出比例
# 算数运算先求和sum count.sum(axis1).astype(np.float32)# 进行相除操作得出比例pro count.div(sum, axis0)2.2 查看效果
使用plot画出这个比例使用stacked的柱状图
pro.plot(kindbar, stackedTrue)
plt.show()2.3 使用pivot_table(透视表)实现
使用透视表刚才的过程更加简单
# 通过透视表将整个过程变成更简单一些data.pivot_table([posi_neg], indexweek)3 小结 交叉表与透视表的作用【知道】 交叉表计算一列数据对于另外一列数据的分组个数 透视表指定某一列对另一列的关系
5.11 高级处理-分组与聚合
学习目标 目标 应用groupby和聚合函数实现数据的分组与聚合 分组与聚合通常是分析数据的一种方式通常与一些统计函数一起使用查看数据的分组情况
想一想其实刚才的交叉表与透视表也有分组的功能所以算是分组的一种形式只不过他们主要是计算次数或者计算比例看其中的效果 1 什么分组与聚合 2 分组API DataFrame.groupby(key, as_indexFalse) key:分组的列数据可以多个 案例:不同颜色的不同笔的价格数据
col pd.DataFrame({color: [white,red,green,red,green], object: [pen,pencil,pencil,ashtray,pen],price1:[5.56,4.20,1.30,0.56,2.75],price2:[4.75,4.12,1.60,0.75,3.15]})color object price1 price2
0 white pen 5.56 4.75
1 red pencil 4.20 4.12
2 green pencil 1.30 1.60
3 red ashtray 0.56 0.75
4 green pen 2.75 3.15进行分组对颜色分组price进行聚合
# 分组求平均值col.groupby([color])[price1].mean()
col[price1].groupby(col[color]).mean()color
green 2.025
red 2.380
white 5.560
Name: price1, dtype: float64# 分组数据的结构不变col.groupby([color], as_indexFalse)[price1].mean()color price1
0 green 2.025
1 red 2.380
2 white 5.5603 星巴克零售店铺数据
现在我们有一组关于全球星巴克店铺的统计数据如果我想知道美国的星巴克数量和中国的哪个多或者我想知道中国每个省份星巴克的数量的情况那么应该怎么办 数据来源[ 3.1 数据获取
从文件中读取星巴克店铺数据
# 导入星巴克店的数据starbucks pd.read_csv(./data/starbucks/directory.csv)3.2 进行分组聚合
# 按照国家分组求出每个国家的星巴克零售店数量count starbucks.groupby([Country]).count()画图显示结果
count[Brand].plot(kindbar, figsize(20, 8))
plt.show()假设我们加入省市一起进行分组
# 设置多个索引set_index()starbucks.groupby([Country, State/Province]).count()仔细观察这个结构与我们前面讲的哪个结构类似
与前面的MultiIndex结构类似
4 小结 groupby进行数据的分组【知道】 pandas中抛开聚合谈分组无意义
