基于人工神经网络的深度学习算法综述

作者：刘俊一

来源：《中国新通信》 2018年第6期

【摘要】 众所周知，深度学习是人工智能领域研究的核心问题。本文首先介绍了人工神经网络和深度学习的背景与研究现状。其次对深度学习经典算法进行了理论上的简单介绍，并提出了一些自己的看法。最后对深度学习的发展趋势进行了展望。【关键词】 神经网络 机器学习 深度学习 算法

一、背景介绍

1.1 什么是人工神经网络

人工神经网络（ANN），是从上个世纪 80年代兴起的人工智能领域研究热点。它是人脑神经元网络在信息处理角度的抽象，按不同的连接方式组成不同的网络并建立相关的简单模型。ANN本质上是一种运算模型，由大量的神经元节点相互连接构成。每个节点可以当做是一个神经元，节点中包含激励函数，根据其输入判断其输出。相邻层的节点之间两两相连，其关系称之为权重，相当于人体大脑的记忆过程。网络的输出即为运算结果，可能是回归结果也可能是分类结果（概率值）。总体而言，人工神经网络通常是对某种算法或者函数的逼近，也可以是对某种逻辑策略的表达。

1.2 人工神经网络背景介绍

1、启蒙时期。美国著名心理学家 W.James于 10年开启关于人脑结构与功能的研究，结束于 1969年《感知器》一书的发表，其作者为著名学者 Minsky和Papert。2、低潮时期。开始于 1969年，著名学者 Minsky发表文章指出单层系统的局限性，而且并不看好多层系统，于是不可避免的在上世纪 70年代对 ANN的研究开始减少，转而继续研究逻辑系统与符号网络。这一情况直到 1982年因为学者 Hopfield发表的《神经网络和物理系统》才好转。3、复兴时期。开始于《神经网络和物理系统》的发表，由 Hopfield于 1982年发表，结束于 80年代末。4、第一次浪潮。开始于上世纪80年代末，因为“深度学习之父”Hinton提出的 BP反向传播算法解决了浅层网络的参数更新问题，由此开始，进入了机器学习研究的春天。5、第二次浪潮。依旧由 Hinton引领，其于 2006年在《Science》杂志上发表了《Deep Learning》一文，由此，进入深度学习研究的春天。

1.3 什么是深度学习

深度学习本质上是一种新兴的机器学习算法，其基本模型框架是基于 ANN的，如含有多隐层的感知器。其可以通过对数据的底层特征进行学习从而得到更加抽象的隐藏特征，从而特到数据的分布式规律，进而预测或分类数据。

深度学习是一种学习数据表征的算法，它可以从无规律、抽象的观测值即输入值中学习到数据的隐藏特征，比如 CNN算法通过输入的图片像素点 RGB值可以学习到图片的内部特征，例如图片中的实体、数字等。深度学习的好处是其用高效的特征提取算法替代了原始的手工获取特征的手段。

1.4深度学习背景介绍

深度学习概念由 Hinton于 2006年在《Science》上发表的论文《Deep Learning》提出。在本文中，他提到：1、在ANN中，感知器的隐层数量越多，对于数据隐藏特征的学习能力就越

强，而且学习到的特征会更好的帮助我们理解数据，从而能够更好的对数据进行可视化或分类；2、由于 ANN层数越多，参数就会以几何倍数的增加，因此 ANN的层数会加大我们对整个网络的训练效率，由此 Hinton提出了基于无监督学习的“逐层初始化”来有效克服该难题。在深度学习领域中，最先出现的算法是 Hinton提出的玻尔兹曼机（RBM）以及基于此提出的深度置信网络 (DBN)，这两种算法为解决复杂的优化难题提供了思路，为解决多层复杂网络带来了希望。之后提出的自动编码器算法也风靡一时。此外Hinton的得意弟子 Lecun等人提出的卷积神经网络（CNN）真正将深度学习研究领上了高潮，其本质上是用来解决图片或视频中的实体识别等难题的，它利用图片 2维或 3维空间特性有效的减少了网络的训练参数。

二、国内外研究现状

2.1 人工神经网络现状

通过查阅相关文献可知现阶段对于 ANN的研究大致上分为理论和应用两方面。

ANN理论研究：1、生物神经学比如认知神经学在人类及动物认知、推理方面的研究；2、基于生物神经学的相关知识，利用数理研究方法、统计学习方法，探索并构建更加合理有效、性能更加优越的 ANN模型以及相关的算法，使其在收敛性、稳定性、鲁棒性、容错性等方面有所提高。

ANN应用研究：1、基于 ANN的软件模型的仿真，基于 ANN的硬件系统的构架等；2、目前，ANN的主要应用研究领域包括：知识工程、模式识别、优化组合、机器人控制、信号处理、专家系统等。我们有理由相信，随着数理统计理论与神经网络相关理论的不断发展和提出、相关关键性技术的不断创新和突破，基于 ANN的应用必将深入到社会的方方面面。

2.2 深度学习研究现状

近日关于深度学习的研究中，Hinton与 MicroSoft合作，尝试将 RBM和 DBN算法用到语音识别中，并取得了突破性的进展，其合作完成的语音识别系统将识别准确率提高了30%。但目前为止，基于 CPU的 DNN并行算法研究陷入了瓶颈之中，研究机构和互联网公司比如 Google和 Facebook都在使用 GPU平台提高 DNN模型的训练速度。

在国外，IBM、Google、Facebook等计算机巨头或互联网巨头都在全力发展深度学习或人工智能，特别是语音识别领域的 DNN算法研究，进展喜人。在国内，百度、阿里巴巴、腾讯等互联网公司以及中科院自动化所等研究机构也紧跟世界人工智能研究的步伐，在人工智能以及深度学习领域大力投资，比如近日阿里巴巴斥巨资建设的达摩院。

三、深度学习经典算法

3.1 波尔兹曼机（RBM）

我们假设存在二部图（也称为二分图），在图结构每层中每一个节点都是相互的，第一层是输入层，即数据可视层 (v)，第二层是隐藏层（h），这里我们不妨令图中所有节点的值均满足 0-1分布，即不是 0就是 1，全概率分布p(v,h)也是满足 Boltzmann分布的，若假设均成立，则将此图结构称为玻尔兹曼机（Restricted Boltzmann Machine）。由于该算法结构是一个二分图，因此当数据可视层 v是已知量时，隐藏层 h中的节点是相互的，因此 v与 h（hi为 h层中的节点）之间满足条件概率分布：p(h|v)=p(h1|v)…p(hn|v)。同理，当隐藏层 h是已知量时，数据可视层 v中的节点是相互的。上文提到全概率分布 p(v,h)是满足Boltzmann分布的，因此根据已知的数据层 v，通过条件概率公式 p(h|v)就能得到隐藏层 h，之后根据条件概率公式 p(v|h)能反推得到可视层 v，通过不断调参后若最终得到的可视层

v1与已知 v相同或误差在可以接受的范围内的话，则隐藏层h可看做是输入层 v的另一种表达或者说是输入数据的隐藏特征，因此 RBM是一种 Deep Learning方法。

3.2 深度置信网络（DBN）

深度置信网络（Deep Belief Networks）是一个概率生成模型，即该网络的输出是置信度（即概率）。传统的DBNs是由多个 RBM组成，其典型结构如图 1所示，这是由Hinton于 2006年提出的。与 RBM一样，DBNs是由可视层与隐藏层组成的，层间存在权值连接，层中节点则相互。

图1DBNs易于拓展，这是由其灵活性决定的。卷积 DBNs（Convolutional Deep Belief Networks）是其中一个重要的拓展。

传统的 DBNs不会去关注图像的 2维空间信息，这是由于整个网络的输入是一维向量化的像素点信息。和 DBNs不同，CDBNs关注了图像的二维信息，该算法充分利用了相邻像素点之间的空间关系，通过卷积 RBMs模型可以是整个结构具有高度的平移不变性，而且能相对容易的得到高维图像。DBNs算法中没有提到关于处理有关于时间序列的问题，但是由于 DBNs算法的优越性，目前已经有相关的研究成果了，如堆叠时间RBMs，后来以此为基础提出了 Dubbed Temporal Convolution Machines算法，这些基于 DBNs的关于时间序列的算法研究给语音识别领域指引了一个全新的研究路线。

3.3 卷积神经网络（CNN）

卷积神经网络 (Convolutional Neural Networks)的神经网络结构是多层的，一般包括卷积层、池化层以及最后的全连接层，每一层的神经元节点又是相互的。CNN之所以能够为大众所接受，是因为其算法中的局部感知和参数共享概念大大减少了整个网络体系中的参数数量，进而使得整个训练过程更加高效。CNN本质上是一种二维图像处理算法，由于池化层的存在，使得该结构对于图像的比例缩放、平移、倾斜等变形具有高度不变性，即不管原图片如何变形，最后的输出不会变。Lecun等人最初提出 CNN神经网络结构是为了将图片的处理过程尽可能的简化。在 CNN中，图像的像素点信息作为最初的输入，而第一个隐层即卷积层的输入为局部的感知野，并且所有的感知野共享相同的参数信息，输出相应的特征信息，一般在若干个卷积层之后有一个池化层，其作用为提取卷积层输出中的最明显特征，也能进一步减少参数数量，最后的全连接层相当于是卷积核为 1的卷积层，起作用为对特征进行分类。

四、结论与展望

深度学习下一步的理论发展重点在强化学习、迁移学习以及非监督学习层面，近几年提出的对抗神经网络（GAN）也会是一个好的研究目标，而最近 Hinton提出的 Capsule计划也必将引领深度学习与神经网络结构的又一波研究热潮。

在应用发展领域，智能机器人会是深度学习领域的重要实际应用，日前 Google收购了 Boston Dynamic公司，其现在拥有最强悍的机器人身体与最智能的机器脑，让我们期待在不久的将来 Google能有真正的人工智能面世。

尽管目前人工智能领域特别是深度学习方面存在着巨大的缺陷，但是我们有理由相信，在全世界相关学者的共同努力下，人工智能领域特别是深度学习方向将会不断突破技术壁垒，并能够逐渐应用到现实社会中的方方面面中，给我们的生活带来性的变化。

参 考 文 献

[1]李航. 统计学习方法[M]. 清华大学出版社 , 2012.

[2]周志华. 机器学习[M]. 清华大学出版社 ,2016.

[3]尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报 , 2015(1):48-59.

[4]刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应用研究 , 2014, 31(7):1921-1930.

[5]阎平凡, 张长水. 人工神经网络与模拟进化计算[M]. 清华大学出版社 , 2005.

[6]韩力群 ,康芊 .《人工神经网络理论、设计及应用》——神经细胞、神经网络和神经

系统[J]. 北京工商大学学报 :自然科学版 , 2005(1):52-52.

[7]Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436.

[8]Schmidhuber J, rgen. Deep learning in neural networks[M]. Elsevier Science Ltd. 2015.