深度学习研究综述
(1．电子工程学院，合肥 230037; 2．安徽省电子制约技术重点实验室，合肥 230037)
摘 要:
深度学习是一类新兴的多层神经网络学习算法，因其缓解了传统训练算法的局部最小性，引起机器学习领域的广泛关注。首先论述了深度学习兴起渊源，分析了算法的优越性，并介绍了主流学习算法及应用现状，最后总结了当前存在的问题及发展方向。
关键词:
深度学习; 分布式表示; 深信度网络; 卷积神经网络; 深凸网络
0 引言
深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器( MLP) 就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示( 属性类别或特征) ，以发现数据的分布式特征表示［1］。BP 算法作为传统训练多层网络的典型算法，实际上对于仅含几层网络，该训练方法就已很不理想［2］。深度结构( 涉及多个非线性处理单元层) 非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。
Hinton 等人［3 ～ 5］基于深信度网( DBN) 提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外 Lecun 等人提出的卷积神经网络( CNNs) 是第一个真正多层结构学习算法［6］，它利用空间相对关系减少参数数目以提高 BP 训练性能。此外深度学习还出现许多变形结构如去噪自动编码器［7］、DCN［8］、sumproduct[9］等。
当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约［2］。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力［1，10］。本文意在向读者介绍这一刚刚兴起的深度学习新技术。
1 深度学习神经学启示及理论依据
1. 1 深度学习神经学启示
尽管人类每时每刻都要面临着大量的感知数据，却总能以一种灵巧方式获取值得注意的重要信息。模仿人脑那样高效准确地表示信息一直是人工智能研究领域的核心挑战。神经科学研究人员利用解剖学知识发现哺乳类动物大脑表示信息的方式: 通过感官信号从视网膜传递到前额大脑皮质再到运动神经的时间，推断出大脑皮质并未直接地对数据进行特征提取处理，而是使接收到的刺激信号通过一个复杂的层状网络模型，进而获取观测数据展现的规则［11 ～ 13］。也就是说，人脑并不是直接根据外部世界在视网膜上投影，而是根据经聚集和分解过程处理后的信息来识别物体。因此视皮层的功能是对感知信号进行特征提取和计算，而不仅仅是简单地重现视网膜的图像［14］。人类感知系统这种明确的层次结构极大地降低了视觉系统处理的数据量，并保留了物体有用的结构信息。对于要提取具有潜在复杂结构规则的自然图像、视频、语音和音乐等结构丰富数据，深度学习能够获取其本质特征。
