企飞互联网站建设网络公司,吾爱主题wordpress,攀枝花 网站建设,什么专业会制作网站Auto-Encoder (AE)Auto-encoder概念自编码器要做的事#xff1a;将高维的信息通过encoder压缩到一个低维的code内#xff0c;然后再使用decoder对其进行重建。“自”不是自动#xff0c;而是自己训练[1]。PCA要做的事其实与AE一样#xff0c;只是没有神经网络。对于一个输入…Auto-Encoder (AE)Auto-encoder概念 自编码器要做的事将高维的信息通过encoder压缩到一个低维的code内然后再使用decoder对其进行重建。“自”不是自动而是自己训练[1]。 PCA要做的事其实与AE一样只是没有神经网络。对于一个输入xPCA通过一个转换矩阵W将x转换为c因为是线性的过程就可以再通过WT将其转换为x^目的是使x和x^尽可能一致。而AE要做的就是在这样一个过程中将PCA的转换矩阵WWT换成encoder和decoder。 在这样一个过程中将input layer, bottleneck, output layer 换做深度神经网络就变成了deep auto-encoder最开始由hinton 在2006年提出这一替换的明显好处是引入了神经网络强大的拟合能力使得编码Code的维度能够比原始图像X的维度低非常多。 在一个手写数字图像的生成模型中这样的一个简单的Deep Auto-Encoder模型能够把一个784维的向量28*28图像压缩到只有30维并且解码回的图像具备清楚的辨认度如下图[2]。Auto-encoder的应用 Auto-encoder也可以用于预训练 DNN当labeled data比较少的时候对前几层网络进行合适的initialization是有必要的这是可以先用 unlabelled data 使用AE技术分别train并fix W1W2W3最后只需要使用label data训练W4即可。Auto-encoder还可以用来降噪首先加噪然后进行AE目的是使网络不仅可以重构还可以过滤其中的noise。过程如下。Auto-encoder for CNN 在CNN中应用auto-encoder主要是先使用convolution和pooling降维然后再使用deconvolution和unpooling升维。deconvolution叫做逆卷积也是一个卷积操作其对feature map恢复的原理核心就是k-1-p扩展padding详细可以阅读Deconvolution逆卷积。unpooling与upsampling还是有点区别unpooling是在CNN中常用的来表示max pooling的逆操作简单来说记住做max pooling的时候的最大item的位置比如一个3x3的矩阵max pooling的size为2x2stride为1反卷积记住其位置unpooling的操作就是让其余位置至为0就行。Variational Auto-Encoder (VAE)#TODO: 阅读http://www.gwylab.com/note-vae.html#TODO: 阅读https://blog.rexking6.top/2019/06/09/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8VAE/并阅读其中转载的几篇文章#TODO: KL散度#TODO: 贝叶斯估计参考[1] https://www.bilibili.com/video/av15889450/?p33[2] http://www.gwylab.com/note-vae.html
