什么网站做美食最好最专业,关键词推广是什么意思,有趣的网站知乎,网站推广服务算中介吗目录 1 目的 2 方法 3 源代码 4 结果 5 扩展 1 目的 ①借助航空公司客户数据#xff0c;对客户进行分类#xff1b;
②对不同的客户类别进行特征分析#xff0c;比较不同类别的客户的价值#xff1b;
③针对不同价值的客户类别制定相应的营销策略#xff0c;为其提供个性… 目录 1 目的 2 方法 3 源代码 4 结果 5 扩展 1 目的 ①借助航空公司客户数据对客户进行分类
②对不同的客户类别进行特征分析比较不同类别的客户的价值
③针对不同价值的客户类别制定相应的营销策略为其提供个性化服务。
在以上目的中进一步了解 K-Means 聚类算法在客户价值分析实例中的应用利用pandas 快速实现数据z-score (标准差)标准化以及用scikit-learn 的聚类库实现 K-Means 聚类。
2 方法
①抽取航空公司 2012年4月 1日至2014年3月 31 日的数据
②对抽取的数据进行数据探索分析与预处理包括数据缺失值与异常值的探索分析、数据清洗、特征构建、标准化等操作
③基于RFM模型使用K-Means 算法进行客户分群
④针对模型结果得到不同价值的客户采用不同的营销手段提供定制化的服务
3 源代码
①查找每列属性观测值中空值的个数、最大值、最小值描述性统计分析
# 对数据进行基本的探索
# 返回缺失值个数以及最大最小值
import pandas as pd
datafile D:/大二下/数据挖掘/数据/air_data.csv # 航空原始数据,第一行为属性标签
resultfile D:/大二下/数据挖掘/数据/explore.csv # 数据探索结果表# 读取原始数据指定UTF-8编码需要用文本编辑器将数据装换为UTF-8编码
data pd.read_csv(datafile, encoding utf-8)# 包括对数据的基本描述percentiles参数是指定计算多少的分位数表如1/4分位数、中位数等
explore data.describe(percentiles [], include all).T # T是转置转置后更方便查阅
explore[null] len(data)-explore[count] # describe()函数自动计算非空值数需要手动计算空值数explore explore[[null, max, min]]
explore.columns [空值数, 最大值, 最小值] # 表头重命名这里只选取部分探索结果。
describe()函数自动计算的字段有count非空值数、unique唯一值数、top频数最高者、
freq最高频数、mean平均值、std方差、min最小值、50%中位数、max最大值explore.to_csv(resultfile) # 导出结果
②选取客户基本信息中的入会时间、性别、会员卡级别和年龄字段进行探索分析探索客户的基本信息分布情况客户基本信息分布分析
import pandas as pd
import matplotlib.pyplot as plt
datafile D:/大二下/数据挖掘/数据/air_data.csv # 航空原始数据,第一行为属性标签
# 读取原始数据指定UTF-8编码需要用文本编辑器将数据装换为UTF-8编码
data pd.read_csv(datafile, encoding utf-8)
# 客户信息类别
# 提取会员入会年份
from datetime import datetime
ffp data[FFP_DATE].apply(lambda x:datetime.strptime(x,%Y/%m/%d))
ffp_year ffp.map(lambda x : x.year)
# 绘制各年份会员入会人数直方图
fig plt.figure(figsize (8 ,5)) # 设置画布大小
plt.rcParams[font.sans-serif] SimHei # 设置中文显示
plt.rcParams[axes.unicode_minus] False
plt.hist(ffp_year, binsauto, color#0504aa)
plt.xlabel(年份)
plt.ylabel(入会人数)
plt.title(各年份会员入会人数)
plt.show()
plt.close# 提取会员不同性别人数
male pd.value_counts(data[GENDER])[男]
female pd.value_counts(data[GENDER])[女]
# 绘制会员性别比例饼图
fig plt.figure(figsize (7 ,4)) # 设置画布大小
plt.pie([ male, female], labels[男,女], colors[lightskyblue, lightcoral],autopct%1.1f%%)
plt.title(会员性别比例)
plt.show()
plt.close# 提取不同级别会员的人数
lv_four pd.value_counts(data[FFP_TIER])[4]
lv_five pd.value_counts(data[FFP_TIER])[5]
lv_six pd.value_counts(data[FFP_TIER])[6]
# 绘制会员各级别人数条形图
fig plt.figure(figsize (8 ,5)) # 设置画布大小
plt.bar(xrange(3), height[lv_four,lv_five,lv_six], width0.4, alpha0.8, colorskyblue)
plt.xticks([index for index in range(3)], [4,5,6])
plt.xlabel(会员等级)
plt.ylabel(会员人数)
plt.title(会员各级别人数)
plt.show()
plt.close()# 提取会员年龄
age data[AGE].dropna()
age age.astype(int64)
# 绘制会员年龄分布箱型图
fig plt.figure(figsize (5 ,10))
plt.boxplot(age, patch_artistTrue,labels [会员年龄], # 设置x轴标题boxprops {facecolor:lightblue}) # 设置填充颜色
plt.title(会员年龄分布箱线图)
# 显示y坐标轴的底线
plt.grid(axisy)
plt.show()
plt.close③选取最后一次乘机至结束的时长、客户乘机信息中的飞行次数、总飞行公里数进行探索分析探索客户的乘机信息分布情况客户乘机信息分布分析
lte data[LAST_TO_END]
fc data[FLIGHT_COUNT]
sks data[SEG_KM_SUM]# 绘制最后乘机至结束时长箱线图
fig plt.figure(figsize (5 ,8))
plt.boxplot(lte, patch_artistTrue,labels [时长], # 设置x轴标题boxprops {facecolor:lightblue}) # 设置填充颜色
plt.title(会员最后乘机至结束时长分布箱线图)
# 显示y坐标轴的底线
plt.grid(axisy)
plt.show()
plt.close# 绘制客户飞行次数箱线图
fig plt.figure(figsize (5 ,8))
plt.boxplot(fc, patch_artistTrue,labels [飞行次数], # 设置x轴标题boxprops {facecolor:lightblue}) # 设置填充颜色
plt.title(会员飞行次数分布箱线图)
# 显示y坐标轴的底线
plt.grid(axisy)
plt.show()
plt.close# 绘制客户总飞行公里数箱线图
fig plt.figure(figsize (5 ,10))
plt.boxplot(sks, patch_artistTrue,labels [总飞行公里数], # 设置x轴标题boxprops {facecolor:lightblue}) # 设置填充颜色
plt.title(客户总飞行公里数箱线图)
# 显示y坐标轴的底线
plt.grid(axisy)
plt.show()
plt.close
④选取积分兑换次数、总累计积分进行探索分析探索客户的积分信息分布情况客户积分信息分布分析
#积分信息类别、、
#提取会员积分兑换次数
ec data[EXCHANGE_COUNT]
# 绘制会员兑换积分次数直方图
fig plt.figure(figsize (8 ,5)) # 设置画布大小
plt.hist(ec, bins5, color#0504aa)
plt.xlabel(兑换次数)
plt.ylabel(会员人数)
plt.title(会员兑换积分次数分布直方图)
plt.show()
plt.close# 提取会员总累计积分
ps data[Points_Sum]
# 绘制会员总累计积分箱线图
fig plt.figure(figsize (5 ,8))
plt.boxplot(ps, patch_artistTrue,labels [总累计积分], # 设置x轴标题boxprops {facecolor:lightblue}) # 设置填充颜色
plt.title(客户总累计积分箱线图)
# 显示y坐标轴的底线
plt.grid(axisy)
plt.show()
plt.close
⑤客户信息属性之间存在相关性选取入会时间、会员卡级别、客户年龄、飞行次数、总飞行公里数、最近一次乘机至结束时长、积分兑换次数、总累计积分属性通过相关系数矩阵与热力图分析各属性间的相关性相关性分析
# 提取属性并合并为新数据集
data_corr data[[FFP_TIER,FLIGHT_COUNT,LAST_TO_END,SEG_KM_SUM,EXCHANGE_COUNT,Points_Sum]]
age1 data[AGE].fillna(0)
data_corr[AGE] age1.astype(int64)
data_corr[ffp_year] ffp_year# 计算相关性矩阵
dt_corr data_corr.corr(method pearson)
print(相关性矩阵为\n,dt_corr)# 绘制热力图
import seaborn as sns
plt.subplots(figsize(10, 10)) # 设置画面大小
sns.heatmap(dt_corr, annotTrue, vmax1, squareTrue, cmapBlues)
plt.show()
plt.close
⑥使用 pandas 对满足清洗条件的数据进行丢弃处理方法为满足清洗条件的一行数据全部丢弃数据清洗
#处理缺失值与异常值
import numpy as np
import pandas as pd
datafile D:/大二下/数据挖掘/数据/air_data.csv # 航空原始数据路径
cleanedfile D:/大二下/数据挖掘/数据/data_cleaned.csv # 数据清洗后保存的文件路径# 读取数据
airline_data pd.read_csv(datafile,encoding utf-8)
print(原始数据的形状为,airline_data.shape)# 去除票价为空的记录
airline_notnull airline_data.loc[airline_data[SUM_YR_1].notnull() airline_data[SUM_YR_2].notnull(),:]
print(删除缺失记录后数据的形状为,airline_notnull.shape)# 只保留票价非零的或者平均折扣率不为0且总飞行公里数大于0的记录。
index1 airline_notnull[SUM_YR_1] ! 0
index2 airline_notnull[SUM_YR_2] ! 0
index3 (airline_notnull[SEG_KM_SUM] 0) (airline_notnull[avg_discount] ! 0)
index4 airline_notnull[AGE] 100 # 去除年龄大于100的记录
airline airline_notnull[(index1 | index2) index3 ~index4]
print(数据清洗后数据的形状为,airline.shape)airline.to_csv(cleanedfile) # 保存清洗后的数据
⑦删除与其不相关、弱相关或冗余的属性如会员卡号、性别、工作地城市、工作地所在省份、工作地所在国家、年龄等属性属性归约
#属性选择、构造与数据标准化
import pandas as pd
import numpy as np# 读取数据清洗后的数据
cleanedfile D:/大二下/数据挖掘/数据/data_cleaned.csv # 数据清洗后保存的文件路径
airline pd.read_csv(cleanedfile, encoding utf-8)
# 选取需求属性
airline_selection airline[[FFP_DATE,LOAD_TIME,LAST_TO_END,FLIGHT_COUNT,SEG_KM_SUM,avg_discount]]
print(筛选的属性前5行为\n,airline_selection.head())⑧完成 5 个指标的数据提取后对每个指标数据的分布情况进行分析并对其进行属性构造与数据标准化数据变换
# 构造属性L
L pd.to_datetime(airline_selection[LOAD_TIME]) - \
pd.to_datetime(airline_selection[FFP_DATE])
L L.astype(str).str.split().str[0]
L L.astype(int)/30# 合并属性
airline_features pd.concat([L,airline_selection.iloc[:,2:]],axis 1)
airline_features.columns [L,R,F,M,C]
print(构建的LRFMC属性前5行为\n,airline_features.head())# 数据标准化
from sklearn.preprocessing import StandardScaler
data StandardScaler().fit_transform(airline_features)
np.savez(D:/大二下/数据挖掘/数据/airline_scale.npz,data)
print(标准化后LRFMC五个属性为\n,data[:5,:])
⑨使用 scikit-lear 库下的聚类子库(sklearn.cluster)可以实现 K-Means 聚类算法。使用标准化后的数据进行聚类客户聚类
# K-means聚类
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans # 导入kmeans算法# 读取标准化后的数据
airline_scale np.load(D:/大二下/数据挖掘/数据/airline_scale.npz)[arr_0]
k 5 # 确定聚类中心数# 构建模型随机种子设为123
kmeans_model KMeans(n_clusters k,random_state123)
fit_kmeans kmeans_model.fit(airline_scale) # 模型训练# 查看聚类结果
kmeans_cc kmeans_model.cluster_centers_ # 聚类中心
print(各类聚类中心为\n,kmeans_cc)
kmeans_labels kmeans_model.labels_ # 样本的类别标签
print(各样本的类别标签为\n,kmeans_labels)
r1 pd.Series(kmeans_model.labels_).value_counts() # 统计不同类别样本的数目
print(最终每个类别的数目为\n,r1)
# 输出聚类分群的结果
cluster_center pd.DataFrame(kmeans_model.cluster_centers_,\columns [ZL,ZR,ZF,ZM,ZC]) # 将聚类中心放在数据框中
cluster_center.index pd.DataFrame(kmeans_model.labels_ ).\drop_duplicates().iloc[:,0] # 将样本类别作为数据框索引
print(cluster_center)
⑩针对聚类结果进行特征分析绘制客户分群雷达图客户价值分析
%matplotlib inline
import matplotlib.pyplot as plt
# 客户分群雷达图
labels [ZL,ZR,ZF,ZM,ZC]
legen [客户群 str(i 1) for i in cluster_center.index] # 客户群命名作为雷达图的图例
lstype [-,--,(0, (3, 5, 1, 5, 1, 5)),:,-.]
kinds list(cluster_center.iloc[:, 0])
# 由于雷达图要保证数据闭合因此再添加L列并转换为 np.ndarray
cluster_center pd.concat([cluster_center, cluster_center[[ZL]]], axis1)
centers np.array(cluster_center.iloc[:, 0:])# 分割圆周长并让其闭合
n len(labels)
angle np.linspace(0, 2 * np.pi, n, endpointFalse)
angle np.concatenate((angle, [angle[0]]))
labels np.concatenate((labels,[labels[0]]))# 绘图
fig plt.figure(figsize (8,6))
ax fig.add_subplot(111, polarTrue) # 以极坐标的形式绘制图形
plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签
plt.rcParams[axes.unicode_minus] False # 用来正常显示负号
# 画线
for i in range(len(kinds)):ax.plot(centers[i], linestylelstype[i], linewidth2, labelkinds[i])
# 添加属性标签
ax.set_thetagrids(angle * 180 / np.pi, labels)
plt.title(客户特征分析雷达图)
plt.legend(legen)
plt.show()
plt.close
4 结果
运行结果① 运行结果② 由图可知入会人数随年份的增长而增加在2012年达到最高峰随后开始下降。 由饼图可知男性会员明显比女性会员多。 由图可以看出绝大部分会员为 4级会员仅有少数会员为 5 级会员或6级会员。 由会员年龄分布箱型图可以看出大部分会员年龄集中在 30~50岁之间极少量的会员年龄小于 20 岁或高于 60 岁且存在一个超过 100岁的异常数据。
运行结果③ 根据客户最后一次乘机至结束的时长箱型图客户的入会时长主要分布在 50~300 区间内另外有一部分客户群体的入会时长分布在 600 以上的区间可分为两个群体。根据客户飞行次数与总飞行公里数箱型图客户的飞行次数与总飞行公里数也明显地分为两个群体大部分客户集中在箱型图下方的箱体中少数客户分收分布在箱体上界的上方这部分客户很可能是高价值客户因为其飞行次数和总飞行公里数明显超过箱体内的其他客户。
运行结果④ 根据客户积分兑换次数直方图绝大部分客户的兑换次数在0~10的区间内这表示大部分客户都很少进行积分兑换。根据客户总累计积分分布箱型图一部分客户集中在箱体中少部分客户分散分布在箱体上方这部分客户的积分要明显高于箱体内的客户的积分。
运行结果⑤ 由图可知部分属性间具有较强的相关性如 FLIGHT COUNT(飞行次数)属性与 SEGKM SUM(飞行总公里数)属性; 也有部分属性与其他属性的相关性都较弱如AGE(年龄)属性与EXCHANGE COUNT (积分兑换次数)属性。
运行结果⑥ 运行结果⑦ 经过标准差标准化处理后形成 ZL、ZR、ZF、ZM、ZC 5个属性的数据集。
运行结果⑧ 运行结果⑨ 运行结果⑩ 结合业务分析通过比较各个特征在群间的大小来对某一个群的特征进行评价分析。其中客户群1在特征C处的值最大在特征 F、M 处的值较小说明客户群 1 是偏好乘坐高级舱位的客户群:客户群2 在特征下和 M 上的值最大且在特征R上的值最小说明客户群 2的会员频繁乘机且近期都有乘机记录;客户群 3 在特征R处的值最大在特征LF、M和C处的值都较小说明客户群 3 已经很久没有乘机是入会时间较短的低价值的客户群;客户群4在所有特征上的值都很小且在特征工处的值最小说明客户群 4属于新入会员较多的客户群;客户群 5 在特征L处的值最大在特征 R处的值较小其他特值都比较适中说明客户群 5 入会时间较长飞行频率也较高是有较高价值的客户群。
根据以上特征分析图表说明不同用户类别的表现特征明显不同。基于该特征描述本案例定义 5 个等级的客户类别: 重要保持客户、重要发展客户、重要挽留客户、一般客户与低价值客户。 其中重要保持客户平均折扣率高乘坐次数或里程高最近坐过本公司航班重要发展客户平均折扣率较高乘坐次数和里程较低重要挽留客户平均折扣率乘坐次数或者里程较高较长时间没坐本公司航班一般与低价值客户扣率低较长时间未做本公司航班乘坐次数或里程较低入会时长短。
可以根据每种客户类型的特征对各类客户群进行客户价值排名如下图所示 根据以上分析内容可知客户群2是需要重要保持的客户其余客户群也可以从表中看出来。
5 扩展
describe() 函数只能应用于数值型变量。如果需要统计非数值型变量或识别异常值等需要使用其他方法如value_counts()、unique()或引入其他库。另外可以使用其他输出格式如HTML或LaTeX分别通过 to_html() 和 to_latex() 进行输出。
使用plt.boxplot() 函数来绘制箱线图其中 boxprops 参数用于设置箱子的填充颜色以区分不同的箱子使用 plt.hist() 函数绘制直方图并通过设定 bins 参数将数据区间分成了5个部分以便于观察数据分布的情况。
在绘制热力图时使用了 plt.subplots() 函数设置了画面的大小并通过 sns.heatmap() 函数绘制了相关性矩阵的热力图。通过设置 annotTrue 参数可以显示每个格子中的相关系数值将颜色深浅用来表示相关程度。
10.Scikit-learn 中 K-Means 函数中默认的初始化方法是 k-means 算法。该算法的基本思想是初始聚类中心越分散对聚类效果的提升越大。因此在 K-Means 算法中会先随机选择一个点作为第一个聚类中心然后根据每个样本点与已有聚类中心之间的距离来选择下一个聚类中心直到选择出 k 个聚类中心为止。不同的数据预处理方法会对 K-Means 算法的聚类结果产生一定影响因为 K-Means 算法对数据的变换方式和数据的分布情况比较敏感。常见的数据预处理方法包括数据标准化、主成分分析、离散化等。其中数据标准化可以将不同变量的取值范围统一以减少变量之间的差异主成分分析可以将多个相关变量转化为少数几个不相关变量以便于简化模型和提高聚类效果离散化可以将连续变量转化为离散变量以减小变量取值范围提高聚类效果。不同的数据预处理方法可能会对数据的分布、聚类中心以及聚类样本分配方式等产生影响在实际应用中需要根据具体问题选择合适的方法。
