沈阳在线制作网站,做视频网站怎么看不会卡,绍兴 网站建设 电话,wordpress怎么更改账号密码前一篇文章#xff0c;使用 AlexNet 实现图片分类 | PyTorch 深度学习实战
本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started
本篇文章内容来自于学习 9年后重读深度学习奠基作之一#xff1a;AlexNet【下】【论文精读】】的心得。 《跟李沐…前一篇文章使用 AlexNet 实现图片分类 | PyTorch 深度学习实战
本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started
本篇文章内容来自于学习 9年后重读深度学习奠基作之一AlexNet【下】【论文精读】】的心得。 《跟李沐学 AI》AlexNet论文逐段精读学习心得 ImageNet Classification with Deep Convolutional Neural Networks视频学习感悟视频学习知识经验 ImageNet Classification with Deep Convolutional Neural Networks
https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 关于 AlexNet 工作原理的博客 https://readmedium.com/alexnet-explained-a-step-by-step-guide-93870b45126b
视频学习感悟
没有必要学习前人的太多东西因为很多东西是错误的学习它们反而限制了自己的思路1工程能力很强才能验证自己的猜想验证自己的猜想才能创新光有猜想而没有能力验证等于空谈只要你的东西足够新即使有很多说法是错误的别人也会相信关键是能 work方法就是好过现在的至于为什么可以慢慢等待时间这个和牛顿莱布尼茨使用微积分而微积分的严谨要一百多年后由柯西补充是一样的不要害怕学术工作学术工作需要你学习数学2掌握编程并且要勤奋。
视频学习知识经验
经过了 2012 ~ 2021 年的探索人们最终发现主要的贡献在于大规模的数据集和算力本身一些技巧证明不是大模型可训练的关键因素。正则化手段去处理过拟合不是最关键的最关键的是网络的架构设计网络的架构好就会让模型更容易训练首先要说自己实现了什么东西比如在哪些地方超过了其它的模型和方法。然后再说自己是怎么做的。论文前面的内容要高屋建瓴细节放在第 3、4 章去写。论文的核心观点是用 CNN 来做图像分类然后经验是如何将 CNN 做的特别大。 使用多 GPU论文仲使用的显卡是 GTX 580 3GB, 两张。所以该显卡在当时也不是很先进而且要将模型切开放在两张卡所以该论文的研发还是工作量很大 3使用一些技术来降低过拟合结果好只是一些方面一些工程上的劳动也可能做出好结果但是这意味着没有算法上的创新学术主要看算法的创新使用 RGB 做成向量进入模型被称为 RAW 模式 4 。还有一种模式是把图片提取特征常见算法是 SIFT。一些研究方向https://github.com/christiansafka/img2vec https://scikit-image.org/docs/stable/auto_examples/features_detection/plot_sift.html 这个项目 Alex 对比了 ILSVRC-2010 和 ILSVRC-2012 两个数据集的成绩。论文中重点强调了使用 ReLU 作为激活函数Hinton 在一次访谈中 5 坦陈挑选到 ReLU 花了十年的时间论文中的参考文章并不多这个文章的写作团队很牛作为一个创新的团队没有必要研究前人的很多东西因为前人的很多东西也是错误的研究了很多以后自己反而被限制那么灵感来源于哪里灵感来源于对周围世界的观察和一些更为成熟的行业比如人工智能领域内的很多发明来自于更成熟的通信行业6 自然界的宝库和秘密就在我们眼前需要我们多问问题。用好奇心探索就像达芬奇并没有学习他所在时代的前人精华太多主要靠自学从观察身边的事物开始。https://www.bilibili.com/video/BV1iG411K7ma/ ↩︎ 主要是微积分、概率论、线性代数。 ↩︎ 实现一篇高质量的论文还是需要通过工程手段验证猜想无论结果是证实还是证伪都是有价值的关键是猜想本身是一个好的猜想有新意。首先是好的猜想然后工程能力是必不可少的。如果有很好的猜想却无法证实或证伪这个就是玄学玄学不是科学。 ↩︎ 不做任何特征提取直接将原始的图片、文本作为训练模型的输入被称为 End to end 训练。 ↩︎ Hinton 回顾与 Ilya 的初次见面和合作https://www.bilibili.com/video/BV1xM4m1k7ZJ ↩︎ 很多论文发布只是作为一些经典论文的陪衬因为它们的作者是通过一些经典论文并研究其中的不足之处然后发布的。真正的有价值的论文其实不多这些论文的灵感是来自于作者的好奇心或者从别的行业汲取的宝贵经验。 ↩︎
