网站突然不被百度收录,京津冀协同发展的问题,途牛旅游网站建设方案,做网站要实名吗KNN面试题 1.简述一下KNN算法的原理
KNN算法利用训练数据集对特征向量空间进行划分。KNN算法的核心思想是在一个含未知样本的空间#xff0c;可以根据样本最近的k个样本的数据类型来确定未知样本的数据类型。 该算法涉及的3个主要因素是#xff1a;k值选择#xff0c;距离度…KNN面试题 1.简述一下KNN算法的原理
KNN算法利用训练数据集对特征向量空间进行划分。KNN算法的核心思想是在一个含未知样本的空间可以根据样本最近的k个样本的数据类型来确定未知样本的数据类型。 该算法涉及的3个主要因素是k值选择距离度量分类决策。
2. 如何理解kNN中的k的取值
在应用中k值一般取比较小的值并采用交叉验证法进行调优。
3. 在kNN的样本搜索中如何进行高效的匹配查找
线性扫描(数据多时效率低) 构建数据索引——Clipping和Overlapping两种。前者划分的空间没有重叠如k-d树后者划分的空间相互交叠如R树。对R树了解很少可以之后再去了解
4. KNN算法有哪些优点和缺点 优点 算法思想较简单既可以做分类也可以做回归可以用于非线性分类/回归训练时间复杂度为O(n)准确率高对数据没有假设对离群点不敏感。 缺点 计算量大存在类别不平衡问题需要大量的内存空间复杂度高。
5. 不平衡的样本可以给KNN的预测结果造成哪些问题有没有什么好的解决方式
输入实例的K邻近点中大数量类别的点会比较多但其实可能都离实例较远这样会影响最后的分类。 可以使用权值来改进距实例较近的点赋予较高的权值较远的赋予较低的权值。
6. 为了解决KNN算法计算量过大的问题可以使用分组的方式进行计算简述一下该方式的原理。
先将样本按距离分解成组获得质心然后计算未知样本到各质心的距离选出距离最近的一组或几组再在这些组内引用KNN。 本质上就是事先对已知样本点进行剪辑事先去除对分类作用不大的样本该方法比较适用于样本容量比较大时的情况。
##7. K-Means与KNN有什么区别 KNN KNN是分类算法监督学习喂给它的数据集是带label的数据已经是完全正确的数据没有明显的前期训练过程属于memory-based learningK的含义来了一个样本x要给它分类即求出它的y就从数据集中在x附近找离它最近的K个数据点这K个数据点类别c占的个数最多就把x的label设为c K-Means 1.K-Means是聚类算法2.非监督学习3.喂给它的数据集是无label的数据是杂乱无章的经过聚类后才变得有点顺序先无序后有序有明显的前期训练过程K的含义K是人工固定好的数字假设数据集合可以分为K个簇由于是依靠人工定好需要一点先验知识 相似点 都包含这样的过程给定一个点在数据集中找离它最近的点。即二者都用到了NN(Nears Neighbor)算法一般用KD树来实现NN。
##9. KD树改进 Kd-tree在维度较小时例如K≤30算法的查找效率很高然而当Kd-tree用于对高维数据例如K≥100进行索引和查找时就面临着维数灾难curse of dimension问题查找效率会随着维度的增加而迅速下降。通常实际应用中我们常常处理的数据都具有高维的特点例如在图像检索和识别中每张图像通常用一个几百维的向量来表示每个特征点的局部特征用一个高维向量来表征例如128维的SIFT特征。因此为了能够让Kd-tree满足对高维数据的索引Jeffrey S. Beis和David G. Lowe提出了一种改进算法——Kd-tree with BBFBest Bin First该算法能够实现近似K近邻的快速搜索在保证一定查找精度的前提下使得查找速度较快。 在介绍BBF算法前我们先来看一下原始Kd-tree是为什么在低维空间中有效而到了高维空间后查找效率就会下降。在原始kd-tree的最近邻查找算法中第一节中介绍的算法为了能够找到查询点Q在数据集合中的最近邻点有一个重要的操作步骤回溯该步骤是在未被访问过的且与Q的超球面相交的子树分支中查找可能存在的最近邻点。随着维度K的增大与Q的超球面相交的超矩形子树分支所在的区域就会增加这就意味着需要回溯判断的树分支就会更多从而算法的查找效率便会下降很大。 从上述标准的kd树查询过程可以看出其搜索过程中的“回溯”是由“查询路径”决定的并没有考虑查询路径上一些数据点本身的一些性质。一个简单的改进思路就是将“查询路径”上的结点进行排序如按各自分割超平面也称bin与查询点的距离排序也就是说回溯检查总是从优先级最高Best Bin的树结点开始。 bbf的算法: 输入kd树查找点x. 输出kd树种距离查找点最近的点以及最近的距离 若kd树为空则设定两者距离为无穷大返回如果kd树非空则将kd树的根节点加入到优先级队列中 从优先级队列中出队当前优先级最大的结点计算当前的该点到查找点的距离是否比最近邻距离小如果是则更新最近邻点和最近邻距离。如果查找点在切分维坐标小于当前点的切分维坐标则把他的右孩子加入到队列中同时检索它的左孩子否则就把他的左孩子加入到队列中同时检索它的右孩子。这样一直重复检索并加入队列直到检索到叶子节点。然后在从优先级队列中出队优先级最大的结点 重复1和1中的操作直到优先级队列为空或者超出规定的时间返回当前的最近邻结点和距离。
