专业企业网站开发公司,游戏服务器租用多少钱一年,虚拟网站官网,除了dw还有什么可以做网页K Nearest Neighbours
KNN Definition
KNN 是一种简单的算法#xff0c;它存储所有可用案例#xff0c;并根据相似度量对新案例进行分类。
KNN 不同名称#xff1a;
K-Nearest Neighbors • Memory-Based Reasoning基于记忆的推理 • Example-Based Reasoning基于实例的… K Nearest Neighbours
KNN Definition
KNN 是一种简单的算法它存储所有可用案例并根据相似度量对新案例进行分类。
KNN 不同名称
K-Nearest Neighbors • Memory-Based Reasoning基于记忆的推理 • Example-Based Reasoning基于实例的推理 • Instance-Based Learning基于实例的学习 • Case-Based Reasoning基于案例的推理 • Lazy Learning懒惰学习
KNN 简史
knn早在 20 世纪 70 年代初就已用于统计估计和模式识别非参数技术 动态记忆 计算机和人的记忆与学习理论》Schank1982 年 人们通过记忆进行推理通过实践进行学习。 思维就是提醒、类比
KNN主要步骤 选择参数KK是一个正整数表示在进行决策时将考虑的最近邻居的数量。 距离度量选择一个距离度量方法来计算未知样本与已知样本之间的距离常见的距离度量包括欧氏距离、曼哈顿距离等。 寻找最近邻对于一个新的未知样本计算它与训练集中每个样本的距离并找出距离最近的K个样本。 投票决策根据这K个最近邻样本的类别通过多数投票的方式来预测新样本的类别。 分类决策将获得最高票数的类别指定为新样本的类别。
特点 懒惰学习KNN是一种懒惰学习算法它在训练阶段不需要构建模型所有的计算都推迟到分类阶段进行。 对数据敏感KNN对数据的分布非常敏感特别是当数据集的规模和特征空间的维度变化时。 特征缩放由于KNN是基于距离的算法特征的缩放会直接影响距离的计算因此在应用KNN之前通常需要对特征进行标准化或归一化。 局部结构KNN可以捕捉到数据的局部结构这使得它在某些情况下比全局模型如线性模型更灵活。 参数选择K的选择对KNN的性能有很大影响。K太小容易受到噪声的影响K太大则可能包含太多不相关的邻居影响分类精度
KNN 邻居数
如果 K1选择最近的邻居
如果 K1对于分类选择最频繁的邻居对于回归计算 K 个邻居的平均值。
距离加权近邻算法
根据邻居与查询点的 距离 分配权重
权重 可能 是距离的倒平方
所有训练点都可能影响特定实例谢泼德方法
距离 分类变量 基于实例的推理 IB1 基于标准 KNN IB2 是增量 KNN 学习器只将错误分类的实例纳入分类器。 IB3通过保留成功记录来剔除表现不佳的实例。 基于案例的推理 总结
KNN 概念简单却能解决复杂问题
能在信息相对较少的情况下工作
学习简单根本无需学习
内存和 CPU 成本-特征选择问题
对表示敏感
受维度诅咒的困扰
