网站建设提高信息,做国际网站,创建快捷方式app下载,路由器带u盘接口的做网站文章目录 案例#xff1a;宝可梦、数码宝贝分类器第一步#xff1a;需要定义一个含有未知数的function第二步#xff1a;loss of a function如何Sample Training Examples 如何抽样可以得到一个较好的结果如何权衡模型的复杂程度 Tradeoff of Model Complexity todo 这… 文章目录 案例宝可梦、数码宝贝分类器第一步需要定义一个含有未知数的function第二步loss of a function如何Sample Training Examples 如何抽样可以得到一个较好的结果如何权衡模型的复杂程度 Tradeoff of Model Complexity todo 这里主要讲了如果挑选训练数据集后续的内容在等之后看到这里再补充笔记 案例宝可梦、数码宝贝分类器
案例需要找一个函数输入一个动物输出类别宝可梦还是数码宝贝
第一步需要定义一个含有未知数的function
先对资料做一些观察想象一下function应该长什么样。
观察发现①数码宝贝的线条比较复杂②宝可梦的线条比较简单 根据线条风格区分 使用一些工具包做Edge detection边缘检测后将图片隐射成黑白白色的为边缘输出白色像素点的个数。白色像素点的个数超过某个阈值说明线条复杂。 这个阈值h是一个未知参数我们先假设函数只有这一个未知参数。 第二步loss of a function
首先需要数据集Dloss根据数据集D算出
1.有数据集 D { ( x 1 , y ^ 1 ) , . . . . , ( x n , y ^ n ) } D\{(x^1,\hat{y}^1),....,(x^n,\hat{y}^n)\} D{(x1,y^1),....,(xn,y^n)}n表示第几个资料 x x x输入宝可梦或者数码宝贝的图片 y ^ \hat y y^: 该图是宝可梦还是数码宝贝
2.先随机给个阈值h然后根据资料D计算参数h的loss
数据集的损失L(h,D)输入阈值h和数据集D输出错误率
每一笔资料的loss l ( h , x n , y ^ n ) ) l(h,x^n,\hat{y}^n)) l(h,xn,y^n))h是f的参数输入xn,输出yn比较model值与真实值是否相等不相等就输出0相等就输出1 Error rate 很直观。也可以选择使用cross-entropy 如何Sample Training Examples 如何抽样可以得到一个较好的结果
理想情况假设我们可以收集所有的宝可梦和数码宝贝其集合为 D a l l D_{all} Dall。我们找到了最好的阈值 h a l l h^{all} hall, h a l l a r g min h L ( h , D a l l ) h^{all} arg\min_hL(h,D_{all}) hallargminhL(h,Dall)
这里的损失函数不可以微分所以没办法用梯度下降方法。但是h的个数其实是有限的可以通过穷举的方法找出使损失函数值最小的阈值h。
事实情况我们只能收集到 D a l l D_{all} Dall中的部分案例 D t r a i n D_{train} Dtrain(从all中随机抽样出来的案例案例符合独立同分布) D t r a i n { ( x 1 , y ^ 1 ) , . . . . , ( x n , y ^ n ) } D_{train}\{(x^1,\hat{y}^1),....,(x^n,\hat{y}^n)\} Dtrain{(x1,y^1),....,(xn,y^n)}。可以找到 h t r a i n a r g min h L ( h , D t r a i n ) h^{train} arg\min_hL(h,D_{train}) htrainargminhL(h,Dtrain) 希望现实情况的 h t r a i n h^{train} htrain在所有数据集中的表现和 h a l l h^{all} hall在所有数据集中的表现越接近越好。 不同的 D t r a i n D_{train} Dtrain训练出来出来的 h t r a i n h^{train} htrain不同这里 h t r a i n h^{train} htrain在所有数据集中的表现很依赖训练h时Sample到的数据集。 问题我们希望 L ( h t r a i n , D a l l ) − L ( h a l l , D a l l ) ≤ δ L(h^{train},D_{all}) - L(h^{all},D_{all}) \leq \delta L(htrain,Dall)−L(hall,Dall)≤δ什么样的 D t r a i n D_{train} Dtrain训练出来的 h t r a i n h^{train} htrain可以满足这个期望 h a l l h^{all} hall是从 D a l l D_{all} Dall中找出来让 L ( h a l l , D a l l ) L(h^{all},D_{all}) L(hall,Dall)最小的值所以 L ( h t r a i n , D a l l ) L(h^{train},D_{all}) L(htrain,Dall)是大于等于 L ( h a l l , D a l l ) L(h^{all},D_{all}) L(hall,Dall)。
不过 L ( h t r a i n , D t r a i n ) L(h^{train},D_{train}) L(htrain,Dtrain)是有可能小于 L ( h a l l , D a l l ) L(h^{all},D_{all}) L(hall,Dall)。
解Smaple出来的资料 D t r a i n D_{train} Dtrain穷举所有可能的h(从1到10000)任意h满足 ∣ L ( h , D t r a i n ) − L ( h , D a l l ) ∣ ≤ δ 2 |L(h,D_{train}) - L(h,D_{all})| \leq \frac{\delta}{2} ∣L(h,Dtrain)−L(h,Dall)∣≤2δ理想和显示就会很接近。 D t r a i n D_{train} Dtrain与 D a l l D_{all} Dall分布很像。 问题有多大的可能性Sample出来一个bad D t r a i n D_{train} Dtrain
以下的讨论与模型无关以下的讨论对资料本来的分布无假设以下的讨论可以使用任何loss function 每一个坏的资料背后都存在一个h使得 ∣ L ( h , D t r a i n ) − L ( h , D a l l ) ∣ ϵ |L(h,D_{train}) - L(h,D_{all})| \gt \epsilon ∣L(h,Dtrain)−L(h,Dall)∣ϵ P ( D t r a i n i s b a d ) ∪ h ∈ H P ( D t r a i n i s b a d d u e t o h ≤ ∑ h ∈ H P ( D t r a i n i s b a d d u e t o h ) P(D_{train} \ is \ bad) \cup_{h \in \Eta} P(D_{train} \ is \ bad \ due \ to \ h\leq \sum_{h\in \Eta} P(D_{train} \ is \ bad \ due \ to \ h) P(Dtrain is bad)∪h∈HP(Dtrain is bad due to h≤∑h∈HP(Dtrain is bad due to h)重叠的地方会多次被计算 由最后的式子可知 ∣ H ∣ |H| ∣H∣是候选项h的数量N是所选数据集 D t r a i n D_{train} Dtrain里资料的个数
增加训练样本数量N越大 D t r a i n D_{train} Dtrain越接近 D a l l D_{all} Dall P ( D t r a i n i s b a d ) P(D_{train} \ is \ bad) P(Dtrain is bad)的概率越小。较少模型复杂性|H|候选项的数目越小较少模型的复杂程度 P ( D t r a i n i s b a d ) P(D_{train} \ is \ bad) P(Dtrain is bad)的概率越小。 其实这些理论只是用来试图解释原理但并没有人用在实际数据集中真正计算因为计算的结果往往会大于1 最小样本量应该满足以下式子 问题本案例中h的取值是离散的所以 ∣ H ∣ |H| ∣H∣是个确定值。当h取值是连续的 ∣ H ∣ |H| ∣H∣是一个无穷 那 P ( D t r a i n i s b a d ) P(D_{train} \ is \ bad) P(Dtrain is bad)永远小于无穷大那式子还有什么意思
回答
在计算机中没有真正连续的东西用计算机中的bit描述数值时精度终究是有限的(所以就不是无穷的)。VC-dimension另外一种计算参数是连续时模型的复杂程度
如何权衡模型的复杂程度 Tradeoff of Model Complexity
理论上理想与现实接近的方法
增加训练样本数量N越大 D t r a i n D_{train} Dtrain越接近 D a l l D_{all} Dall P ( D t r a i n i s b a d ) P(D_{train} \ is \ bad) P(Dtrain is bad)的概率越小。较少模型复杂性|H|候选项的数目越小较少模型的复杂程度 P ( D t r a i n i s b a d ) P(D_{train} \ is \ bad) P(Dtrain is bad)的概率越小。
问题|H|太小会导致什么问题模型复杂程度太小会导致什么问题
|H|太小能选择的h数量太少可能找不到使 L ( h , D a l l ) L(h,D_{all}) L(h,Dall)最小的h。(大海捞针针不在大海) 收集数据集中案例的个数N通常不是我们能控制的可能想采用小的|H|来让理想和现实更接近。 小的|H|会导致可选择的参数h数量变少导致最优的 h a l l h^{all} hall在可选范围之外也就是说得到一个较大的 L ( h a l l , D a l l ) L(h^{all},D_{all}) L(hall,Dall)
