分分10分快3_10分快3官方理解神经网络:从神经元到RNN、CNN、深度学习 | 雷锋网

  • 时间:
  • 浏览:28
  • 来源:彩神快三APP

本文分分10分快3_10分快3官方为 AI 研习社编译的技术博客,原标题 :

Unde分分10分快3_10分快3官方rstanding Neural Networks. 分分10分快3_10分快3官方from neuron to RNN, CNN, and Deep Learning

作者 | vibhor nigam

翻译 | gezp123、Dylan的琴         

校对 | 邓普斯•杰弗        审核 | 酱番梨       分类整理 | 立鱼王

原文链接:

https分分10分快3_10分快3官方://towardsdatascience.com/understanding-neural-networks-from-neuron-to-rnn-cnn-and-deep-learning-cd88e90e0a90



神经网络是目前最流行的机器学习算法之一。随着时间的推移,证明了神经网络在精度和传输传输速率方面,比许多的算法性能更好。本来形成了许多种类,像CNN(卷积神经网络),RNN,自编码,深度图学习等等。神经网络对于数据科学和机会机器学习从业者,就像线性回归对于统计学家一样。本来,对神经网络是那此另2个基本的理解是有必要的,比如,它是为什么么么构成的,它能防止疑问的范围以及它的局限性是那此。这篇文章尝试去介绍神经网络,从另2个最基础的构件,即另2个神经元,深入到它的各种流行的种类,像CNN,RNN等。

   神经元是那此?

正如其名字所表明,神经网络的灵感来源于人类大脑的神经组织结构,像在另一买车人类大脑中,最基本的构件就叫做神经元。它的功能和人的神经元很类式,换句话说,它有许多输入,本来给另2个输出。在数学上,在机器学习中的神经元本来另2个数学函数的占位符,它仅有的工作本来对输入使用另2个函数,本来给另2个输出。



你你你是什么 神经元中使用的函数,在术语上通常叫做激活函数。主要的激活函数有5种,date,step,sigmoid,tanh和ReLU。那此都将在接下来进行删改地描述。

   激活函数

阶跃函数

阶跃函数定义为



其中,机会x的值大于等于零,则输出为1;机会x的值小于零,则输出为0。亲戚亲戚大家还时要看到阶跃函数在零点是不可微的。目前,神经网络采用反向传播法和梯度下降法来计算不同层的权重。机会阶跃函数在零处是不可微的,本来它从不适用于梯度下降法,本来本来能应用在更新权重的任务上。

为了克服你你你是什么 疑问,亲戚亲戚大家引入了sigmoid函数。

Sigmoid函数

另2个Sigmoid函数机会logistic函数的数学定义如下:



当z或自变量趋于负无穷大时,函数的值趋于零;当z趋于正无穷大时,函数的值趋于1。时要记住的是,该函数表示因变量行为的近似值,本来是另2个假设。现在疑问来了,为那此亲戚亲戚大家要用Sigmoid函数作为近似函数之一。这有许多简单的意味着。

1. 它在还时要捕获数据的非线性。我我觉得是另2个近似的形式,但非线性的概念是模型精确的重要本质。

2. sigmoid函数在整个过程中是可微的,本来还时要与梯度下降和反向传播法子一并使用,以计算不同层的权重。

3. 假设另2个因变量服从另2个sigmoid函数的固有假设的高斯分布的自变量,这是另2个一般分布,亲戚亲戚大家还时要获得许多随机趋于稳定的事件,这是另2个好的的一般分布刚开始。

然而,sigmoid函数也面临着梯度消失的疑问。从图中还时要看出,另2个sigmoid函数将其输入压缩到另2个非常小的输出范围[0,1],并具有非常陡峭的渐变。本来,输入空间中仍然有很大的区域,即使是很大的变化也会在输出中产生很小的变化。这被称为梯度消失疑问。你你你是什么 疑问随着层数的增加而增加,从而使神经网络的学习等待的图片 在一定的水平上。

Tanh函数

Tanh(z)函数是sigmoid函数的缩放版本,它的输出范围变成了[-1,1],而全是 [0,1].



在许多地方使用Tanh函数代替sigmoid函数的意味着,通常是机会当数据分布在0随近时,其导数值更高。另2个更高的梯度对于更好的学习传输传输速率更有帮助。下图展示了另2个函数Tanh和sigmoid的梯度值图像。

对于Tanh函数,当输入在[-1,1]之间时,得到导数值在[0.42,1]之间。



买车人面,对于sigmoid函数,当输入在[-1,1]之间时,得到导数值在[0.20,0.25]之间。



正如亲戚亲戚大家从上图看到的,Tanh函数比Sigmoid函数具有更大范围的导数,本来具另2个更好的学习传输传输速率。然而在Tanh函数中,依然会经常再次出现梯度消失的疑问。

ReLU函数

在深度图学习模型中,修正线性单元(ReLU)是最常用的激活函数。当函数输入负数时,函数输出0,对于任意正数x,函数输出并全是。本来它还时要写成f(x)=max(0,x)

其图像看起来如下:



Leaky ReLU是另2个其中最出名的并全是变形,对于正数输入,其输出和ReLU一样,本来对于所有负数输出,不再是0,本来具另2个常数斜率(小于1).

  • 你你你是什么 斜率是在构建模型时,时要使用者设置的参数。它通常被叫做alpha,类式,使用者设置alpha=0.3.你你你是什么 激活函数则表示为f(x)=max(0.3x,x)。这具另2个理论优点,通过x在所有值处都能另2个影响,使得在x中蕴含的信息被充分利用。

激活函数还有有许多还时要替代的选取,本来对于从业者和研究人员,发现一般情况汇报通过改变使用许多激活函数代替ReLU,从只有带来足够的收益。在平常实践中,ReLU比Sigmoid机会tanh函数表现的更好。

   神经网络

到目前为止,亲戚亲戚大家机会介绍完了神经元和激活函数,它们一并是构建任意神经网络的基本构件。现在,亲戚亲戚大家更深入的了解那此是神经网络,以及它们不同的种类。我强烈的建议你,机会对于神经元和激活函数有任何的疑惑,回过头去复习一下它们。

在理解另2个神经网络以前,有必要去理解神经网络中的Layer(层),一层Layer是一组有输入输出的神经元。每另2个神经元的输入通过其所属的激活函数防止,类式,这是另2个小型神经网络。



网络的最左边的layer叫做输入层,最右边的layer叫做输出层(在你你你是什么 例子中,只另2个节点)。顶端的layer叫做隐藏层,机会其值只有在训练集中观察到。亲戚亲戚大家也还时要说,亲戚亲戚大家的神经网络例子,具有2个输入单元(不包括偏置单元),2个隐藏单元,另2个输出单元。

任何神经网络都大约蕴含另2个输入层和另2个输出层。隐藏层的数量在不同的网络中不同,取决于待防止疑问的多样化度。

本来时要做笔记的重点是每另2个隐藏层还时要另2个不同的激活函数,类式,在同另2个神经网络中,隐藏层layer1机会使用sigmoid函数,隐藏层layer2机会使用ReLU,后续的隐藏层layer3使用Tanh。激活函数的选取取决于待防止的疑问以及使用的数据的类型。

现在对于另2个还时要做精确预测的神经网络,在其中每一层的每另2个神经元都学习到了选取的权值。学习权值的算法叫做反向传播,其中的细节超过了本文的范围。

   具有超过另2个隐藏层的神经网络通常被叫做深度图神经网络。

卷积神经网络(CNN)

卷积神经网络(CNN)是神经网络的并全是,在计算机视觉领域应用非常广泛。它的名字来源于组成其隐藏层的种类。CNN的隐藏层通常蕴含卷积层,池化层,全连接层,以及归一化层。那此层的名字简洁的表明了,使用了卷积和池化函数等作为激活函数,而全是 使用以前定义的普通激活函数。



让你删改的了解CNN,时要先理解那此是卷积和池化。那此概念都来源于计算机视觉领域,定义如下:

  • 卷积:卷积作用在另2个信号(1维)机会两张图片(2维)上:本来你认为其中另2个作为"输入"信号(或图片),本来作为另2个"滤波器"(也叫作kernel,核),本来生成第另2个信号作为输出。

  • 用非专业的表述,本来在输入信号上使用另2个滤波器。本质上,使用另2个kernel(核)乘以输入信号,得到调整后的输出信号。数学上,另2个函数f和g的卷积定义如下:



这本来输出函数和kernel(核)函数的点乘运算。

在图像防止案例中,可视化另2个卷积核在整个图片上滑动是非常简单的,每个像素的值全是 在你你你是什么 过程中改变的。



池化(pooling):池化是另2个基于采样的离散化防止。它的目标是对输入(图片,隐藏层,输出矩阵等)进行下采样,来减小输入的维度,本来蕴含局部区域的组织结构。

  • 另2个主要的池化种类,max和min pooling。正如其名字表明的,max pooling是在选取区域选取中最大值,min pooling是在选取区域中选取最小值。



本来,正如亲戚亲戚大家所看到的,卷积神经网络CNN是另2个基本的深度图神经网络,它蕴含多个隐藏层,除以前介绍的非线性激活函数之外,那此层还使用了卷积和池化函数。

更多详情还时要在以下网站找到:

http://colah.github.io/posts/2014-07-Conv-Nets-Modular/

循环神经网络(RNN)

循环神经网络RNN,正如其名,是另2个非常重要的神经网络种类,在自然语言防止领域应用非常广泛。在另2个普通的神经网络中,另2个输入通过许多层的防止后,得到另2个输出,假设了另2个连续的输入是互相独立不相关的。

然而你你你是什么 假设在许多生活中的情节从不成立。类式,机会另一买车人相应预测另2个给定时间的股票的价格,机会相应预测另2个励志的话 中的下另2个单词,考虑与以前观测信息的依赖是有必要的。

RNNs被叫做循环,机会它们对于另2个序列中的每另2个元素执行相同的任务,它们的输出依赖于以前的计算。本来理解RNN的深度图是,认为它们有"记忆",都都还可不可不后能 捕捉到到目前为止的计算信息。理论上,RNN都都还可不可不后能 充分利用任意长序列中的信息,本来实践上,它们被限制在还时要回顾仅仅许多步骤。

组织结构展示,另2个RNN如下图所示。它还时要想象成另2个层神经网络,每一层代表每另2个选取时刻t的观测。



RNN在自然语言防止上展现了非常巨大的成功,尤其是它们的变种LSTM,它还时要比RNN回顾得更多的。机会你对LSTM感兴趣,我建议你参考一下文章:

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

在这篇文章中,我尝试去全面的介绍神经网络,从最基本的组织结构,另2个神经元,到最有效的神经网络类型。这篇文章的目标是使更多的的读者了解神经网络何如从0刚开始构建,它被应用在哪许多领域,以及它的许多最成功的种类有那此。

我明白有还有许多许多流行的神经网络种类,将打算在下一篇文章中涉及,机会你让你早许多覆盖到许多主题,请向我建议。雷锋网雷锋网雷锋网(公众号:雷锋网)

参考:

  • http://ufldl.stanford.edu/wiki/index.php/Neural_Networks

  • https://stats.stackexchange.com/questions/101550/tanh-activation-function-vs-sigmoid-activation-function

  • https://www.kaggle.com/dansbecker/rectified-linear-units-relu-in-deep-learning

  • http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/

  • https://www.cs.cornell.edu/courses/cs1114/2013sp/sections/S06_convolution.pdf

  • http://machinelearninguru.com/computer_vision/basics/convolution/image_convolution_1.html

  • http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/

让你继续查看该篇文章相关链接和参考文献?

点击理解神经网络:从神经元到RNN、CNN、深度图学习】即可访问:

https://ai.yanxishe.com/page/TextTranslation/1550

AI入门、大数据、机器学习免费教程

35本世界顶级本来教程限时开放,类式书单由知名数据科学网站 KDnuggets 的副主编,一并也是资深的数据科学家、深度图学习技术爱好者的Matthew Mayo推荐,他在机器学习和数据科学领域具有丰厚的科研和从业经验。

点击链接即可获取:https://ai.yanxishe.com/page/resourceDetail/417

雷锋网原创文章,未经授权禁止转载。详情见转载须知。