国产前端框架 做网站,wordpress主题取消,关键词歌曲,重庆网站排名优化公司生物神经网络是指人的大脑#xff0c;这是人工神经网络的技术原型。根据生物神经网络的原理#xff0c;人们用计算机复现了简化的神经网络。当然#xff0c;人工神经网络是机器学习的一大分支。
1.基本组成
1.1神 经 元 神经元是神经网络的基本组成。激活函数又称作激励函… 生物神经网络是指人的大脑这是人工神经网络的技术原型。根据生物神经网络的原理人们用计算机复现了简化的神经网络。当然人工神经网络是机器学习的一大分支。
1.基本组成
1.1神 经 元 神经元是神经网络的基本组成。激活函数又称作激励函数、传输函数。 1.2 层 层其实就是由多个上面的神经元模型构建起来的模型。 一层可以有多个神经元多个层就构成一个神经网络。 这是一个含有3个神经元的单层网络,每一个输入都跟每一个神经元有连接每一个连接的权重都不一样输入的数量和神经元的数量不用相等每一个神经元都可以使用不同的传输函数每一个的输出都是不同的。也可以把激活函数和偏置理解成神经元的内部属性毕竟每一个神经元只 有一个激活函数和一个偏置。
2.反向传播BP BP 算法是神经网络的核心所在,模型有权重和偏置通过反向输入通过权重和偏置得到最终的输出但是输出的结果肯定与想要的结果有偏差。通过 BP 算法来更新模型的权重和偏置以使得改变后的模型的输出值与想要的结果更为相近。 向模型中传入数据数据经过每一层的偏置和层与层之间的权重矩阵最后会得到一个预测值。这个预测值与真实值之间存在损失函数(Cost Function)。
3.反向传播神经网络 广义的BP 神经网络是指一种反向传播的思想这个思想贯穿整个深度学 习当中不管是卷积神经网络(Convolutional Neural Networks,CNN)还是循环神经网络 (Recurrent Neural Network,RNN),都继承了这样的思想。至于狭义的 BP 神经网络其实就是全连接网络每一层都是FC(Full-Connected)层 从输入层到隐含层再到输出层。至于全连接层就是之前讲的“层”概念。使用反向传播不断更新参数就是训练神经网 络的本质。经常听到的多层感知机(Multi Layer Perceptron,MLP)其实就是狭义的BP 神经网络也就是全连接网络。
4.卷积运算 卷积只是一个为了方便计算而定义的概念是一个符号是一个像加减乘除的运算。原图像的数字被卷积核挡住了。被卷积核盖住的原图的那一部分就称为卷积核的视野域。当卷积核的尺寸越大那么卷积核的视野域也就越大。
5.卷积层 此处引入相关定义步长(Stride) 、填充(Padding)、 通道(Channel) 和特征图(Feature Map)。 一个5×5的图片被3×3卷积核卷积之后就是3×3的图像如果想让卷积前后的图像具有相同尺寸就要用到Padding,如图所示。 填充的输入并不都是0,有很多不同的模填充式例如“根据原图边缘进行填充”等。把经过卷积层卷积的图片称为特征图。
6.池化层 池化层(Pool)比较简单 一般夹在卷积层中间用于压缩数据和参数的量也可减少过拟合现象。有时也把池化层称为下采样层。池化层也有卷积核但是这个卷积核只是取视野域内的最大值或者平均值所以分为最大池化层和平均池化层。因为并没有参数需要调整所以池化层不参与反向传播。池化层具有特征不变性(Invariance)。 通俗地讲就是假设有一个100×100的“狗”图片假设池化之后变成50×50的图片依然看得出来这是一只狗。池化层保留了图片中最重要的特征去掉的是无关紧要的信息。但是这个过程使图片的尺寸改变了所以可以认为留下来的特征具有“尺度不变性”,是最能表达图像特征的特征图。
7.循环神经网络 前面讲解了全连接网络也讲解了CNN, 现在又出现了RNN 。 CNN 已经可以处理图像分类、图像检测、图像生成的问题了为何还要RNN 呢? RNN 的特点就是具有一定的记忆。卷积网络可以识别一个图片的内容但是对于一个 每一帧之间都具有某种联系的视频呢卷积网络就不能很好地处理其间的时间关系。而RNN可以考虑前一个时刻的影响还可以对这个时刻之前的所有时刻都具有一定的记忆性。 总之 RNN 是基于“人的认知是基于过往经验和记忆”的观点提出的。 RNN用途 卷积网络可以当作一个图像的特征提取器通过提取图像的特征对图像进行分类。RNN 可以对“之前的信息”进行记忆并用于当前的计算中所以RNN 的应用领域是非常广阔的
(1)自然语言处理(Nature Language Process,NLP)基本是与RNN 绑定最为紧密的一 个应用领域。其目的是实现有效自然语言通信的计算机系统简单说就是计算机可以像人 一样跟人进行沟通交流。包括文本生成、语言模型、机器翻译、文本相似度等内容
(2)视频处理、语音识别、图像描述生成等
(3)音乐推荐、商品推荐等推荐系统。
从一句话中提取信息来填空的查询方式被称为槽填充(Slot Filling)。RNN的反向传播 — —BPTT(Back Propagation Through Time)。
总结
(1)神经网络的基本组成神经元与层。
(2)神经网络的反向传播算法的铺垫与推导这里给出四个最重要的概念
首先定义神经元的损失
其次计算所有层的神经元的损失
通过神经元的损失计算偏置的梯度
以及权重的梯度
(3)卷积网络的基本概念。后续的实战对卷积的了解有质的飞跃。
(4)循环神经网络的基本概念。
