吉林网站建站系统哪家好,互联网产品设计,中国建设银行互联网网站,邢台163招聘最新信息https://blog.csdn.net/qq_40021158/article/details/109485216 可以使用测试集来估计训练集和测试集之间的性能差距#xff0c;但是要避免过度拟合测试数据几乎是不可能的。 使用隔离的测试集可能会解决此问题#xff0c;但这需要不断更新数据集#xff0c;这是一项非常昂贵… https://blog.csdn.net/qq_40021158/article/details/109485216 可以使用测试集来估计训练集和测试集之间的性能差距但是要避免过度拟合测试数据几乎是不可能的。 使用隔离的测试集可能会解决此问题但这需要不断更新数据集这是一项非常昂贵的尝试。 在这里我们推导出了一种算法用于估计不需要任何测试集的训练和测试之间的性能差距。 具体来说我们推导出了许多持久性拓扑度量这些度量可确定何时DNN可以学习推广到看不见的样本。这样即使我们无法访问这些样本我们也可以计算出DNN的测试误差。 a我们不使用任何测试样本在任何计算机视觉问题上计算任何深度神经网络DNN的测试性能1顶部; 标记和未标记的样本都是没有必要的。 这与传统计算机视觉方法形成鲜明对比传统计算机视觉方法使用选定的测试数据集底部来计算模型性能。 b我们的算法x轴针对训练与测试性能y轴之间的性能差距∆ρ给出的持久代数拓扑概要 The persistent algebraic topological summary( λ∗ , µ∗ ) 。
我们提出的假设是泛化误差是网络内部工作的函数此处由网络的功能拓扑表示并通过拓扑概要进行描述。 我们建议对这个函数进行回归并仅在训练数据上评估测试性能。
图1b展示了一个例子。 在此图中x轴显示了DNN的持久拓扑度量的线性组合。 此图中的y轴是在多个计算机视觉问题上使用这些DNN时的性能差距∆ρ。 从该图中可以看出我们提出的拓扑概要与DNN的性能差距之间存在线性关系。 这意味着了解我们的拓扑概要的价值与了解DNN在隔离的数据集上的性能一样好但没有上述任何缺点–无需依赖独立的团队来收集管理和更新测试集。
具体细节 计算两两神经元之间的相关性
一个DNN可以得到一个相关性矩阵从而可以构造PH
基于此持久性图我们将腔的生命定义为该图中的平均时间即持久性。公式地 同样我们将其中年定义为持久性的平均密度。 公式地 最后我们定义了从这些拓扑概要到训练误差与测试误差之间的差值的线性函数映射 根据以上结果我们可以估算出测试误差而无需任何测试数据即
