台州专业网站建设方案,网站首页模板,凡科网app,沧州南皮网站建设相关链接
#xff08;1#xff09;2023年美赛C题Wordle预测问题一建模及Python代码详细讲解 #xff08;2#xff09;2023年美赛C题Wordle预测问题二建模及Python代码详细讲解 #xff08;3#xff09;2023年美赛C题Wordle预测问题三、四建模及Python代码详细讲解 …
相关链接
12023年美赛C题Wordle预测问题一建模及Python代码详细讲解 22023年美赛C题Wordle预测问题二建模及Python代码详细讲解 32023年美赛C题Wordle预测问题三、四建模及Python代码详细讲解 42023年美赛C题Wordle预测问题25页论文
C题Wordle预测
代码运行环境 编译器vsCode 编程语言Python 如果要运行代码出现错误了不要着急百度一下错误一般都是哪个包没有安装用conda命令或者pip命令都能安装上。
1、问题一
1.1 第一小问
第一小问建立一个时间序列预测模型首先对数据按先后顺序排序查看数据分布
import pandas as pd
import datetime as dt
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import skew,kurtosispd.options.display.notebook_repr_htmlFalse # 表格显示
plt.rcParams[figure.dpi] 75 # 图形分辨率
sns.set_theme(styledarkgrid) # 图形主题df pd.read_excel(data/Problem_C_Data_Wordle.xlsx,header1)
data df.drop(columnsUnnamed: 0)
data[Date] pd.to_datetime(data[Date])
data.set_index(Date, inplaceTrue)
data.sort_index(ascendingTrue,inplaceTrue)
data1查看数据分布 sns.lineplot(xDate, yNumber of reported results,datadata)
plt.savefig(img/1.png,dpi300)
plt.show()2使用箱线图进行查看异常值300000以上是异常值黑色的需要进行处理本代码中采用的向前填充法就是用异常值前一天的数据来填充。
sns.boxplot(data[Number of reported results],colorred)
plt.savefig(img/2.png,dpi300)3因为Number of reported results是数值特征在线性回归模型中为了取得更好的建模效果在建立回归评估模型之前应该检查确认样本的分布如果符合正态分布则这种训练集是及其理想的否则应该补充完善训练集或者通过技术手段对训练集进行优化。由KDE图和Q-Q图可知价格属性呈右偏分布且不服从正态部分在回归之前需要对数据进一步数据转换。
import scipy.stats as st
plt.figure(figsize(20, 6))
y data.Numbers
plt.subplot(121)
plt.title(johnsonsu Distribution fitting,fontsize20)
sns.distplot(y, kdeFalse, fitst.johnsonsu, colorRed)y2 data.Numbers
plt.subplot(122)
st.probplot(y2, distnorm, plotplt)
plt.title(Q-Q Figure,fontsize20)
plt.xlabel(X quantile,fontsize15)
plt.ylabel(Y quantile,fontsize15)
plt.savefig(img/5.png,dpi300)
plt.show()转换前 转换后注意预测得到的结果还要转换回来采用指数转换。公式是log(x) y,xe^y。
import scipy.stats as st
plt.figure(figsize(20, 6))
y np.log(data.Numbers)
plt.subplot(121)
plt.title(johnsonsu Distribution fitting,fontsize20)
sns.distplot(y, kdeFalse, fitst.johnsonsu, colorRed)y2 np.log(data.Numbers)
plt.subplot(122)
st.probplot(y2, distnorm, plotplt)
plt.title(Q-Q Figure,fontsize20)
plt.xlabel(X quantile,fontsize15)
plt.ylabel(Y quantile,fontsize15)
plt.savefig(img/6.png,dpi300)
plt.show()4可视化所有特征与label的相关性采用皮尔逊相关性方法筛选相关性较高作为数据集的特征。得到41个特征。
# 可视化Top20相关性最高的特征
df data.copy()
corr df[[target_t1]features].corr().abs()
k 15
col corr.nlargest(k,target_t1)[target_t1].index
plt.subplots(figsize (10,10))
plt.title(Pearson correlation with label)
sns.heatmap(df[col].corr(),annotTrue,squareTrue,annot_kws{size:14},cmapYlGnBu)
plt.savefig(img/10.png,dpi300)
plt.show()5划分数据集前需要标准化特征数据标准化后将1-11月的数据作为训练集12月的数据作为测试集。可以看到用简单线性回归可以拟合曲线。
data_feateng df[features targets].dropna()
nobs len(data_feateng)
print(样本数量: , nobs)
X_train data_feateng.loc[2022-1:2022-11][features]
y_train data_feateng.loc[2022-1:2022-11][targets]X_test data_feateng.loc[2022-12][features]
y_test data_feateng.loc[2022-12][targets]n, k X_train.shape
print(Train: {}{}, \nTest: {}{}.format(X_train.shape, y_train.shape,X_test.shape, y_test.shape))plt.plot(y_train.index, y_train.target_t1.values, labeltrain)
plt.plot(y_test.index, y_test.target_t1.values, labeltest)
plt.title(Train/Test split)
plt.legend()
plt.xticks(rotation45)
plt.savefig(img/11.png,dpi300)
plt.show()5采用线性回归
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_errorX_train data_feateng.loc[2022-1:2022-11][features]
y_train data_feateng.loc[2022-1:2022-11][targets]X_test data_feateng.loc[2022-12][features]
y_test data_feateng.loc[2022-12][targets]
reg LinearRegression().fit(X_train, y_train[target_t1])
p_train reg.predict(X_train)
p_test reg.predict(X_test)y_pred np.exp(p_test*stdmean)
y_true np.exp(y_test[target_t1]*stdmean)RMSE_test np.sqrt(mean_squared_error(y_true,y_pred))
print(Test RMSE: {}.format(RMSE_test))模型误差是RMSE: 1992.293296317915
模型训练和预测
from sklearn.linear_model import LinearRegression
reg LinearRegression().fit(X_train, y_train[target_t1])
p_train reg.predict(X_train)
arr np.array(X_test).reshape((1,-1))
p_test reg.predict(arr)y_pred np.exp(p_test*stdmean)
print(f预测区间是[{int(y_pred-RMSE_test)}至{int(y_predint(RMSE_test))}]) 预测得到的结果减去误差得到预测区间的左边界加上误差得到预测区间的右边界。最后得出的预测区间是【18578-22562】
1.2 第二小问
我提取了每个单词中每个字母位置的特征如a编码为1b编码为2c编码为3依次类推z编码为26那5个单词的位置就填入相应的数值类似于ont-hot编码、元音的字母的频率五个单词中元音字母出现了几次辅音字母的频率5个单词中辅音字母出现了几次还有一个是单词的词性形容词副词名词等等这部分没有做
特征在代码中未这几个‘w1’,‘w2’,‘w3’,‘w4’,‘w5’,‘Vowel_fre’,‘Consonant_fre’
然后分别计算1-7次尝试百分比与这几个特征的相关性采用皮尔逊相关性方法。同学们继续对图片中的数值进行解读应用到论文中可以用表格阐述。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as snsdf pd.read_excel(data/Problem_C_Data_Wordle.xlsx,header1)
data df.drop(columnsUnnamed: 0)
data[Date] pd.to_datetime(data[Date])
df.set_index(Date,inplaceTrue)
df.sort_index(ascendingTrue,inplaceTrue)
df data.copy()
df[Words] df[Word].apply(lambda x:str(list(x))[1:-1].replace(,).replace( ,))
df[w1], df[w2],df[w3], df[w4],df[w5] df[Words].str.split(,,n4).str
dfsmall [str(chr(i)) for i in range(ord(a),ord(z)1)]
letter_map dict(zip(small,range(1,27)))
letter_map{‘a’: 1, ‘b’: 2, ‘c’: 3, ‘d’: 4, ‘e’: 5, ‘f’: 6, ‘g’: 7, ‘h’: 8, ‘i’: 9, ‘j’: 10, ‘k’: 11, ‘l’: 12, ‘m’: 13, ‘n’: 14, ‘o’: 15, ‘p’: 16, ‘q’: 17, ‘r’: 18, ‘s’: 19, ‘t’: 20, ‘u’: 21, ‘v’: 22, ‘w’: 23, ‘x’: 24, ‘y’: 25, ‘z’: 26} df[w1] df[w1].map(letter_map)
df[w2] df[w2].map(letter_map)
df[w3] df[w3].map(letter_map)
df[w4] df[w4].map(letter_map)
df[w5] df[w5].map(letter_map)
df1统计元音辅音频率
Vowel [a,e,i,o,u]
Consonant list(set(small).difference(set(Vowel)))
def count_Vowel(s):c 0for i in range(len(s)):if s[i] in Vowel:c1return c
def count_Consonant(s):c 0for i in range(len(s)):if s[i] in Consonant:c1return cdf[Vowel_fre] df[Word].apply(lambda x:count_Vowel(x))
df[Consonant_fre] df[Word].apply(lambda x:count_Consonant(x))
df 2分析相关性
# 可视化Top20相关性最高的特征
features [w1,w2,w3,w4,w5,Vowel_fre,Consonant_fre]
label [1 try,6 tries,6 tries,6 tries,6 tries,6 tries,7 or more tries (X)]
n 11
for i in label:corr df[[i]features].corr().abs()k len(features)col corr.nlargest(k,i)[i].indexplt.subplots(figsize (10,10))plt.title(fPearson correlation with {i})sns.heatmap(df[col].corr(),annotTrue,squareTrue,annot_kws{size:14},cmapYlGnBu)plt.savefig(fimg/1/{n}.png,dpi300)n1plt.show()3 Code
Code获取在浏览器中输入betterbench.top/#/40/detail或者Si我剩下的问题二、三、四代码实现在我主页查看陆续发布出来。
