gif网站素材,微信小程序开发公司十大排名,重庆微信网站,中国建设工程安全协会网站1.机器学习基础
#xff08;1#xff09;机器学习概述 机器学习是一种人工智能#xff08;AI#xff09;的分支#xff0c;通过使用统计学和计算机科学的技术#xff0c;使计算机能够从数据中学习并自动改进性能#xff0c;而无需进行明确的编程。它涉及构建和训练机器…1.机器学习基础
1机器学习概述 机器学习是一种人工智能AI的分支通过使用统计学和计算机科学的技术使计算机能够从数据中学习并自动改进性能而无需进行明确的编程。它涉及构建和训练机器学习模型以便能够对未见过的数据进行预测或做出决策。 机器学习的基本目标是通过从数据中发现模式和规律自动提取和学习数据中的特征并用这些特征构建预测模型或分类模型。
2数学统计学概念
1、概率论概率论是研究随机事件发生的概率和统计规律的数学分支。在机器学习中概率论常用于建模和推断问题。
【1】朴素贝叶斯分类器朴素贝叶斯分类器是一种基于贝叶斯定理和概率论的经典分类算法。它假设特征之间相互独立并根据训练数据中各类别特征的概率分布来进行分类。 先引入一个概念后验概率是指在观测到一些证据或信息之后对于某个事件发生的条件概率。也可以说后验概率是在考虑了先验概率以及额外的观测数据后对于某个事件的概率进行修正或更新得到的结果。 人话解释一下P(B|A) 是啥晓得不 在A发生的情况下B的概率这玩意就是一个后验概率栓Q~ 热知识哦学过概率统计的我们都知道~ 1.贝叶斯定理描述了在已知后验概率的情况下如何计算条件概率可以用于推断未知事件的概率或者在给定观测数据的情况下更新事件的概率。类似通过已知的信息推断未知的信息。 2.贝叶斯定理的数学表达式如下计算公式固定的 P(A|B) (P(B|A) * P(A)) / P(B) 【1】P(A|B) 表示在事件 B 发生的条件下事件 A 发生的概率 【2】P(B|A) 表示在事件 A 发生的条件下事件 B 发生的概率 【3】P(A) 和 P(B) 分别表示事件 A 和事件 B 单独发生的概率。 那朴素贝叶斯分类器是啥 对于一个给定的待分类样本 x朴素贝叶斯分类器计算出每个类别 c 的后验概率 P(c|x)。根据贝叶斯定理后验概率可以表示为先验概率 P(c) 与样本 x 属于类别 c 的条件概率 P(x|c) 的乘积即 朴素贝叶斯分类器做出了一个“朴素”假设假设特征之间是独立的。 基于这个该假设我们可以将条件概率 P(x|c) 可以分解为每个特征的条件概率的乘积 P(x|c) P(x₁|c) * P(x₂|c) * ... * P(xₙ|c)其中 x₁, x₂, ..., xₙ 是 x 的特征。 朴素贝叶斯分类器会对每个类别计算后验概率并选择具有最高后验概率的类别作为预测结果。 那么这玩意怎么用呢 我们可以假设有一个用于垃圾邮件分类的数据集这个数据集包含如下特征邮件主题的关键词、邮件长度、邮件中包含链接的数量。3个特征 使用这个数据集训练朴素贝叶斯分类器。假设我们有两个类别垃圾邮件和非垃圾邮件。2个类别我们需要计算在每个类别下各特征的条件概率。 接下来我们收到一封新的邮件需要对其进行分类。假设这封邮件的主题包含关键词优惠、邮件长度为300字、包含2个链接。我们可以根据训练好的朴素贝叶斯分类器计算出这封邮件在垃圾邮件和非垃圾邮件类别下的条件概率。然后我们选择概率较大的类别作为预测结果。如果计算出垃圾邮件类别下的条件概率为0.6非垃圾邮件类别下的条件概率为0.40.6大于0.4因此我们预测这封邮件为垃圾邮件。
# 准备数据集示例数据集
#2个标签3个特征
messages [(垃圾短信, 这是一条垃圾短信, 5, 2),(垃圾短信, 赚大钱快来加入我们的网络营销团队, 10, 3),(非垃圾短信, 这是一条正常的短信, 3, 1),(非垃圾短信, 明天一起吃饭吗, 4, 0)
]# 将数据集划分为特征和标签
X [(message[1], message[2], message[3]) for message in messages]#特征第二、三、四列
y [message[0] for message in messages]#标签第一列是标签# 特征提取
vectorizer CountVectorizer()
X_text [text for text, _, _ in X]
X_text vectorizer.fit_transform(X_text)
X_other [[length, links] for _, length, links in X]
X [x_text x_other for x_text, x_other in zip(X_text.toarray(), X_other)]# 划分训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)
#test_size: 测试集的比例可以是浮点数表示比例或整数表示样本数量默认为0.25即25%#random_state: 随机数种子用于控制划分的随机性如果不设置该参数每次划分的结果可能会有所不同# 训练朴素贝叶斯模型
model MultinomialNB()
model.fit(X_train, y_train)# 预测并评估模型
y_pred model.predict(X_test)
accuracy accuracy_score(y_test, y_pred)
print(Accuracy:, accuracy)上面这些代码训练一个朴素贝叶斯分类器并使用测试数据集评估模型的准确性。首先代码定义了一个示例数据集messages它包含了4条短信数据每条数据有3个特征和1个标签。接下来将数据集划分为特征X和标签y。特征X由每条短信数据的第二、三、四列组成标签y由每条短信数据的第一列组成。然后在特征提取阶段使用CountVectorizer对短信文本特征进行词频统计获得词频矩阵X_text。同时也将其他两个特征即短信长度和链接数量提取为一个矩阵X_other。接下来通过遍历X_text和X_other中的每个特征向量将它们在维度上进行拼接得到一个新的特征矩阵X。使用train_test_split函数将数据集划分为训练集和测试集其中测试集占总数据集的20%我数据集太少了懒得敲太多玩意就定0.2了其实正常是0.25。使用MultinomialNB模型训练朴素贝叶斯分类器使用训练集的特征和标签调用fit方法。使用测试集的特征调用predict方法进行预测然后使用accuracy_score函数计算预测结果的准确性并将结果打印出来。 只是个例子如果理解有误或者各位觉得哪里需要改进的可以在评论区教学一下本人新手~
【2】隐马尔可夫模型隐马尔可夫模型是一种用于建模时序数据的概率图模型。它基于马尔可夫过程假设通过观测序列和隐藏状态序列之间的概率关系来进行推断和预测。 1观测概率Emission Probability观测概率描述的是在给定隐藏状态下观测序列中某个观测值出现的概率。观测概率表示了隐藏状态对观测值的影响程度。 举例假设我们有一个天气模型隐藏状态表示天气的状态晴天、多云、雨天观测序列表示观测到的天气相关的观测值温度、湿度、风力等。观测概率可以表示在特定的天气状态下观测到某个温度、湿度或风力的概率。 1隐藏概率Hidden Probability隐藏概率描述的是在给定隐藏状态序列下从一个隐藏状态转移到另一个隐藏状态的概率。隐藏概率表示了隐藏状态之间的转移规律。 举例同样在天气模型中隐藏概率可以表示从一个天气状态转移到另一个天气状态的概率。例如在晴天的情况下下一天仍然是晴天的概率较高而转移到下一天是雨天的概率较低。 观测序列和隐藏状态序列之间的概率关系可以通过两个概率进行描述转移概率和发射概率。 1转移概率Transition Probability转移概率描述的是在给定隐藏状态序列下从一个隐藏状态转移到另一个隐藏状态的概率。 用A表示隐藏状态的集合a和b表示A中的两个隐藏状态则转移概率可以表示为即从状态a转移到状态b的概率。 2发射概率Emission Probability发射概率描述的是在给定隐藏状态下观测序列中某个观测值出现的概率。用B表示观测值的集合a表示一个隐藏状态b表示一个观测值则发射概率可以表示为即在状态a下观测到观测值b的概率。 根据这两个概率可以建立一个隐马尔可夫模型。在模型中转移概率和发射概率用矩阵形式表示 转移概率矩阵AA[i][j]表示从隐藏状态i转移到隐藏状态j的概率。 发射概率矩阵BB[i][j]表示在隐藏状态i下观测到观测值j的概率。 此外还有初始概率向量π表示隐藏状态序列的初始概率分布π[i]表示隐藏状态i作为初始状态的概率。 通过转移概率矩阵、发射概率矩阵和初始概率向量可以计算给定观测序列下对应的隐藏状态序列的概率。这可以通过前向算法、后向算法、维特比算法等来实现。 1前向算法Forward Algorithm是用于计算隐马尔可夫模型中给定观测序列的概率的一种动态规划算法。它通过逐步计算每个时间步的前向概率最终得到整个观测序列的概率。 2后向算法Backward Algorithm是用于计算隐马尔可夫模型中给定观测序列的概率的另一种动态规划算法。它通过逐步计算每个时间步的后向概率最终得到整个观测序列的概率。 3维特比算法Viterbi Algorithm是用于解码隐马尔可夫模型中给定观测序列对应的最可能的隐藏状态序列的一种动态规划算法。它通过逐步计算每个时间步的最大概率路径最终得到对应于观测序列的最可能的隐藏状态序列。 举例假设有一个语音识别模型隐藏状态表示不同的单词观测序列表示录音中的声学特征。我们希望计算给定观测序列的概率以及对应的最可能的单词序列。
- 前向算法前向算法可以计算给定观测序列的概率从而确定语音识别模型是否能够准确地识别出该序列。它通过逐步计算每个时间步的前向概率最终得到整个观测序列的概率。
- 后向算法后向算法可以计算给定观测序列的概率从而确定语音识别模型是否能够准确地识别出该序列。它通过逐步计算每个时间步的后向概率最终得到整个观测序列的概率。
- 维特比算法维特比算法可以解码给定观测序列对应的最可能的单词序列。它通过逐步计算每个时间步的最大概率路径最终得到对应于观测序列的最可能的单词序列。例如对于输入的声学特征序列维特比算法可以找到最可能对应的单词序列从而实现语音识别。 import numpy as npclass HMM:def __init__(self, states, observations, start_prob, transition_prob, emission_prob):self.states statesself.observations observationsself.start_prob start_probself.transition_prob transition_probself.emission_prob emission_probdef forward_algorithm(self, observations):T len(observations)N len(self.states)# 初始化前向概率矩阵forward_prob np.zeros((T, N))# 初始化初始状态概率for i in range(N):forward_prob[0][i] self.start_prob[i] * self.emission_prob[i][self.observations.index(observations[0])]# 递归计算前向概率for t in range(1, T):for j in range(N):forward_prob[t][j] sum(forward_prob[t-1][i] * self.transition_prob[i][j] * self.emission_prob[j][self.observations.index(observations[t])] for i in range(N))# 返回观测序列的概率return sum(forward_prob[T-1][i] for i in range(N))def viterbi_algorithm(self, observations):T len(observations)N len(self.states)# 初始化Viterbi矩阵和回溯矩阵viterbi_prob np.zeros((T, N))backtrace np.zeros((T, N), dtypeint)# 初始化初始状态概率for i in range(N):viterbi_prob[0][i] self.start_prob[i] * self.emission_prob[i][self.observations.index(observations[0])]# 递归计算Viterbi概率和回溯for t in range(1, T):for j in range(N):prob [viterbi_prob[t-1][i] * self.transition_prob[i][j] * self.emission_prob[j][self.observations.index(observations[t])] for i in range(N)]viterbi_prob[t][j] max(prob)backtrace[t][j] np.argmax(prob)# 回溯最佳路径best_path [0] * Tbest_path[T-1] np.argmax(viterbi_prob[T-1])for t in range(T-2, -1, -1):best_path[t] backtrace[t1][best_path[t1]]# 返回最佳路径和对应的概率return [self.states[state] for state in best_path], max(viterbi_prob[T-1])# 测试
states [Sunny, Rainy]
observations [Walk, Shop, Clean]
start_prob [0.6, 0.4]
transition_prob [[0.7, 0.3], [0.4, 0.6]]
emission_prob [[0.1, 0.4, 0.5], [0.6, 0.3, 0.1]]hmm HMM(states, observations, start_prob, transition_prob, emission_prob)obs [Walk, Shop, Clean]
prob hmm.forward_algorithm(obs)
print(f观测序列 {obs} 的概率: {prob})obs [Walk, Clean]
path, prob hmm.viterbi_algorithm(obs)
print(f观测序列 {obs} 的最可能路径: {path}概率: {prob})上面该代码定义了一个HMM类隐式马尔可夫模型Hidden Markov Model, HMM其中包括了初始化方法和两种算法前向算法forward_algorithm和维特比算法viterbi_algorithm。在初始化方法中需要传入的参数包括状态集合states、观测值集合observations、初始状态概率start_prob、状态转移概率transition_prob和观测值发射概率emission_prob。前向算法用于计算给定观测序列的概率。通过递归地计算前向概率矩阵可以得到给定观测序列的整体概率。维特比算法用于找到给定观测序列的最可能状态路径。通过递归地计算Viterbi矩阵和回溯矩阵可以找到观测序列最可能的状态路径以及对应的概率。
【3】高斯混合模型GMM高斯混合模型是一种概率模型用于对复杂数据进行建模。它假设数据是由多个高斯分布组合而成的通过找到最优的高斯分布参数来拟合数据分布。 import numpy as np
from sklearn.mixture import GaussianMixture# 生成高斯混合模型数据
def generate_data(n_samples, weights, means, covariances):n_components len(weights)n_samples_per_component np.random.multinomial(n_samples, weights)X []for i in range(n_components):samples np.random.multivariate_normal(means[i], covariances[i], n_samples_per_component[i])X.extend(samples)return np.array(X)# 模型训练和测试
def fit_and_predict(X, n_components):gmm GaussianMixture(n_componentsn_components, random_state0)gmm.fit(X)# 预测样本所属的分量labels gmm.predict(X)return labels# 生成数据
n_samples 500
weights [0.3, 0.7]
means [[2, 2], [-2, -2]]
covariances [np.eye(2), np.eye(2)]X generate_data(n_samples, weights, means, covariances)# 模型训练和测试
n_components 2
labels fit_and_predict(X, n_components)# 输出测试结果
print(样本所属分量)
for i in range(n_components):print(分量, i1, :, np.sum(labels i))GMM的计算主要涉及两个方面参数估计和推断。
1参数估计通过最大化似然函数来估计GMM的参数包括每个高斯分布的均值、协方差和混合系数。常用的方法是使用期望最大化算法Expectation MaximizationEM算法来迭代优化参数。
2推断给定已知参数的GMM模型推断是指根据观测数据推断出最可能的聚类簇和相应的概率。常用的方法是使用后向算法Backward Algorithm或维特比算法Viterbi Algorithm来计算观测数据在每个高斯分布下的概率并根据概率来判断数据的聚类簇。
GMM高斯混合模型Gaussian Mixture Model简称GMM的相关概念如下
1高斯分布Gaussian Distribution也称为正态分布是一种连续型概率分布通过均值和方差来描述数据的分布情况。高斯分布的概率密度函数PDF符合钟形曲线的形状。 对于一维高斯分布 对于多维高斯分布 其中 x 是观测值标量或向量mu 是均值向量标量或向量表示数据的中心位置sigma^2 是方差标量或协方差矩阵表示数据的变化程度d 是数据的维度Cov 是协方差矩阵用于描述不同维度之间的相关性exp() 表示自然指数函数^ 表示矩阵的转置^-1 表示矩阵的逆sqrt() 表示平方根函数det() 表示矩阵的行列式 一维高斯分布的参数是均值 mu 和方差 sigma^2而多维高斯分布的参数是均值向量 mu 和协方差矩阵 Cov。
3混合系数Mixture Coefficients表示每个高斯分布对整体混合模型的贡献程度通常用概率值表示。混合系数之和必须等于1。 设 N 为观测数据点的数量混合系数的计算公式如下 混合系数Mixing Coefficient 其中 pi_k 是第 k 个高斯分量的混合系数N_k 是分量 k 中观测数据的数量N 是总的观测数据数量 4均值Mean表示高斯分布的平均值用于描述数据的中心位置。 高斯分布的平均值均值的公式可以表示为 其中 μ 是高斯分布的平均值N 是观测数据点的数量Σ 表示求和符号xi 是观测数据点的值取自高斯分布的样本集合 5协方差Covariance就是cov表示高斯分布的变化程度用于描述数据的分散情况。协方差矩阵可以表达不同维度之间的相关性。 公式如下 其中 cov(X, Y) 表示 X 和 Y 之间的协方差N 是样本的数量Σ 表示求和符号xi 和 yi 是样本中的第 i 个观测值μx 和 μy 分别是 X 和 Y 的平均值 6最大似然估计一种常用的参数估计方法用于从给定的数据中估计出最合适的模型参数。其基本思想是选择能够使得观测值出现概率最大化的参数值。 给定一组来自总体分布的独立同分布的样本观测值x₁, x₂, ..., xₙ假设这些观测值服从某个参数为θ的概率分布。似然函数likelihood function表示在给定观测数据的情况下关于参数θ的函数。对于离散型随机变量似然函数是各个样本观测值出现的概率的乘积。对于连续型随机变量似然函数是各个样本观测值对应的概率密度函数值的乘积。 似然函数的公式为 其中L(θ)为似然函数f(x; θ)表示样本观测值x在参数θ下的概率密度函数对于连续型变量或概率质量函数对于离散型变量。为了求解最大似然估计通常会对似然函数取对数这样不仅可以化简计算还可以转为求解最大化对数似然函数的问题 最大似然估计的目标是找到使得log L(θ)最大化的参数θ值。通常使用优化算法如梯度下降法、牛顿法等来估计最大似然估计值。 【4】概率图模型PGM概率图模型是用于表示随机变量之间依赖关系的图结构。例如贝叶斯网络和马尔可夫随机场就是常用的概率图模型它们可以通过概率推断来解决建模和推断问题。主要分为两种类型贝叶斯网络Bayesian Networks和马尔科夫随机场Markov Random Fields。 一些概念和术语相关如下
1节点Node图中的一个圆圈表示一个随机变量。
2边Edge图中的一条线连接两个节点。有向边表示依赖关系无向边表示相关关系。
3有向图Directed Graph节点之间通过有向边表示的依赖关系的图。
4无向图Undirected Graph节点之间通过无向边表示的相关关系的图。
5条件独立性Conditional Independence在概率图模型中节点之间的依赖关系可以通过条件独立性来判断。如果给定一些节点的取值其他节点的取值与这些节点的取值是独立的那么这些节点之间是条件独立的。
6贝叶斯网络Bayesian Networks又称为有向无环图模型Directed Acyclic Graph简称DAG是一种有向图模型。它通过节点和有向边来表示变量之间的依赖关系节点表示随机变量边表示变量之间的直接依赖关系。 假设有以下几个随机变量 1. 学生的智力水平Intelligence 2. 学生的SAT成绩SAT 3. 学生的推荐信质量Letter 4. 学生的大学录取情况Admission 5. 学生的课程选择Course 在这个例子中我们可以构建一个有向无环图模型来描述这些变量之间的依赖关系。图中的节点表示随机变量有向边表示变量之间的依赖关系。 具体的依赖关系如下 1、学生的智力水平Intelligence对学生的SAT成绩SAT有影响。 2、学生的推荐信质量Letter对学生的大学录取情况Admission有影响。 3、学生的智力水平Intelligence和SAT成绩SAT对学生的大学录取情况Admission有影响。 4、学生的大学录取情况Admission对学生的课程选择Course有影响。 该有向无环图模型可以如下所示 Intelligence --- SAT --- Admission --- Course | └--- Letter
在这个模型中每个节点之间的关系可以通过概率分布来表示例如 1、P(Intelligence) 2、P(SAT | Intelligence) 3、P(Admission | Intelligence, SAT) 4、P(Course | Admission) 7马尔科夫随机场Markov Random Fields又称为无向图模型是一种无向图模型。它通过节点和无向边来表示变量之间的相关关系节点表示随机变量边表示变量之间的直接相关关系。 假设有以下几个节点表示社交网络中的用户 1. 用户A 2. 用户B 3. 用户C 4. 用户D 在这个例子中我们可以构建一个无向图模型来表示用户之间的好友关系。图中的节点表示用户边表示用户之间的好友关系。 具体的好友关系如下 1、用户A和用户B是好友。 2、用户A和用户C是好友。 3、用户C和用户D是好友。 该无向图模型可以如下所示 A / \ B C---D 在这个模型中每个节点代表一个用户边表示两个用户之间的好友关系。该无向图模型可以描述用户之间的社交关系可以用来推断用户之间的相似性、关联度等信息。
【5】概率密度估计概率密度估计是用于估计观测数据的概率密度函数的方法。常见的方法包括核密度估计和最大似然估计这些方法可以用于建模数据分布和进行数据预测。
2、统计学统计学是研究数据收集、分析和解释的科学对于机器学习来说统计学可以帮助我们理解数据和模型之间的关系。
3、线性代数线性代数是研究向量空间和线性变换的数学分支在机器学习中线性代数常用于描述和处理高维数据。
4、微积分微积分是研究变化和极限的数学分支机器学习中的许多模型和算法都建立在微积分的基础上例如梯度下降算法。
5、优化理论优化理论是研究如何在给定约束条件下寻找最优解的数学分支机器学习中许多问题都可以被视为优化问题例如参数优化、模型选择等。
6、矩阵分解矩阵分解是将一个矩阵分解为若干个子矩阵的过程机器学习中的降维技术和推荐系统常常使用矩阵分解。常见的矩阵分解方法包括奇异值分解Singular Value DecompositionSVD、QR分解、LU分解等。
1SVD:矩阵分解常用于降维、矩阵近似表示、推荐系统等领域。SVD分解是其中最常用的分解方法之一。 它将一个矩阵分解为三个矩阵的乘积即 其中A是一个m×n的实数矩阵U是一个m×m的正交矩阵Σ是一个m×n的对角矩阵V是一个n×n的正交矩阵的转置。正交矩阵是满足U^T * U I和V^T * V I的矩阵其中I是单位矩阵。 相关概念
【1】奇异值Singular ValuesΣ矩阵的对角线上的元素称为奇异值按照从大到小排列。奇异值代表了原始矩阵A在每个特征向量方向上的重要性。
【2】左奇异向量Left Singular VectorsU矩阵的列向量称为左奇异向量对应于原始矩阵A的特征向量。
【3】右奇异向量Right Singular VectorsV矩阵的列向量称为右奇异向量对应于原始矩阵A的转置矩阵的特征向量。 代码举例下面代码首先定义了一个3x3的原始矩阵matrix然后使用NumPy库的linalg.svd函数进行SVD分解。该函数会返回三个矩阵U矩阵、S矩阵和V矩阵。其中U矩阵包含了原始矩阵的左奇异向量S矩阵是一个对角矩阵包含了原始矩阵的奇异值V矩阵是原始矩阵的右奇异向量的转置。
import numpy as np# 原始矩阵
matrix np.array([[1, 2, 3],[4, 5, 6],[7, 8, 9]])# SVD分解
U, S, V np.linalg.svd(matrix)print(Original Matrix:)
print(matrix)print(\nU matrix:)
print(U)print(\nS matrix:)
print(np.diag(S))print(\nV matrix:)
print(V)2QR:一种常用的矩阵分解方法它将一个矩阵分解为两个矩阵的乘积。 即 其中A是一个m×n的实数矩阵Q是一个m×m的正交矩阵R是一个m×n的上三角矩阵。 相关概念、术语
【1】正交矩阵Orthogonal MatrixQ是一个正交矩阵满足即它的转置和逆矩阵相等。正交矩阵具有特殊的性质其列向量互相正交且模长为1。
【2】实数矩阵由实数构成的矩阵。 下面是一些与实数矩阵相关的基本概念 维度Dimension矩阵的维度是指矩阵的行数和列数。例如一个m×n的矩阵有m行和n列维度为m×n。 元素Element实数矩阵中的每个数都是矩阵的一个元素。可以用A_ij表示矩阵A中第i行第j列的元素。 行Row实数矩阵中的水平排列的元素组成的序列可以用A_i表示矩阵A中的第i行。 列Column实数矩阵中的垂直排列的元素组成的序列可以用A^j表示矩阵A中的第j列。 零矩阵Zero Matrix所有元素都是零的矩阵用0表示。 对角矩阵Diagonal Matrix所有非对角线上的元素都是零的矩阵。对于一个n×n的对角矩阵D有D_ij 0当i ≠ j否则D_ij a_i其中a_i为非零实数。 方阵Square Matrix行数和列数相等的矩阵。 转置矩阵Transpose Matrix矩阵的行和列互换得到的新矩阵记作A^T。 逆矩阵Inverse Matrix若A是一个方阵且存在一个矩阵B使得A·B B·A II为单位矩阵则B称为A的逆矩阵记作A^-1。 行列式Determinant矩阵的一种特征值表示线性变换对面积/体积的伸缩倍数。 幂Power矩阵的自乘A^n表示A连乘n次。 迹Trace方阵对角线上元素的和。 代码举例
import numpy as np# 创建一个矩阵
A np.array([[1, 2, 3],[4, 5, 6],[7, 8, 9]])# 进行QR分解
Q, R np.linalg.qr(A)print(Q矩阵)
print(Q)
print(R矩阵)
print(R)
3LU:LU分解是将一个矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积。主要思想是通过高斯消元法来将矩阵A转化为上三角形式然后将消元得到的乘积因子存储在L中。 高斯消元一种用于求解线性方程组的数值方法。它通过一系列的行变换将线性方程组转化为一个上三角矩阵从而可以直接求解出未知数的值。 核心思想通过对线性方程组的系数矩阵进行一系列行变换将其转化为一个上三角矩阵。这样得到的上三角矩阵可以通过回代法直接求解出未知数的值。行变换的基本操作包括交换两行、用一个非零常数乘以某行、将某行的倍数加到另一行上。 高斯消元法2步举例
假设有一个包含n个未知数和n个线性方程的线性方程组。我们可以将其写成增广矩阵的形式[A|B]其中A是系数矩阵B是常数向量
第一步: 将系数矩阵A化为上三角矩阵。
对于第一列即第一个未知数所在的列找到非零元素所在的行将该行交换到第一行。将第一行的倍数加到后面的每一行上使得第一列的元素变为0。重复上述步骤在第二列、第三列等依次对应的未知数上进行操作直到将整个矩阵A化为上三角形式。
第二步: 回代求解未知数的值。
从最后一行开始由最后一行的系数推导出倒数第二行的未知数值。再由倒数第二行的系数推导出倒数第三行的未知数值以此类推直到求解出第一个未知数的值。 使用高斯消元法求解线性方程组可以得到唯一解如果存在或者零解如果方程组不可解
代码举例LU
import numpy as np
from scipy.linalg import lu# 定义一个矩阵
A np.array([[2, -1, 1],[4, 1, -1],[2, -3, 3]])# 进行LU分解
P, L, U lu(A)print(矩阵A的LU分解结果)
print(L )
print(L)
print(U )
print(U)
print(P )
print(P)7、维度灾难维度灾难是指当数据处于高维空间时由于样本稀疏性等原因导致机器学习算法性能下降的现象。
8、交叉验证交叉验证是一种评估模型性能的方法通过将数据集划分为训练集和测试集并多次重复训练和测试过程可以避免过拟合和欠拟合问题。交叉验证的目的是在有限的数据集上尽可能地充分利用数据来评估模型的性能。 常用的交叉验证方法包括k折交叉验证和留一交叉验证。在k折交叉验证中将数据集划分为k个子集每次用k-1个子集作为训练集剩下的一个子集作为测试集。依次对每个子集进行训练和测试最后将结果进行平均得到最终的评估结果。懒得整理了先看完深度学习再整这里~
3模型基础技术名词 机器学习模型可以分为监督学习、无监督学习和强化学习三大类。
【1】监督学习通过使用带有标签的训练数据监督学习的目标是构建一个模型来预测或分类未知的数据。它包括分类问题预测离散标签和回归问题预测连续值。
【2】无监督学习无监督学习的目标是从未标记的数据中发现隐藏的结构和模式。它包括聚类将相似的数据分组和降维减少数据的维度等技术。
【3】强化学习强化学习通过将智能体暴露在与其环境的交互中使其能够通过试错的方式学习并改进自己的行为。智能体通过奖励和惩罚来判断其行为是否正确并优化其策略以获得最大奖励。 其他相关含义
【1】逻辑回归Logistic Regression一种用于分类问题的线性模型通过将输入特征与权重相乘并进行激活函数处理得出输出。
【2】支持向量机Support Vector Machine一种用于分类和回归问题的监督学习方法通过将数据映射到高维空间中找到一个超平面来最大化分类边界。
【3】决策树Decision Tree一种树状模型通过对输入数据按照特征值进行分割以决策树的形式表示规则。
【4】随机森林Random Forest一种集成学习方法通过同时训练多个决策树来减少过拟合。
【5】朴素贝叶斯Naive Bayes一种基于贝叶斯定理的概率分类算法通过假设特征之间相互独立来进行分类。
【6】K近邻K-Nearest Neighbors一种基于实例的学习方法通过比较新样本与训练集中最近的K个样本的标签来进行分类。
【7】线性回归Linear Regression一种用于回归问题的线性模型通过拟合一条直线或平面来预测连续值输出。
【8】主成分分析Principal Component Analysis一种降维技术通过线性变换将高维数据映射到低维空间中保留最大方差的主成分。
【9】神经网络Neural Network一种模仿人脑神经网络结构的机器学习模型通过多层神经元之间的连接来进行学习和预测。
【10】梯度下降Gradient Descent一种优化算法通过迭代调整模型参数使损失函数最小化。
