深度学习Deep Learning是机器学习的一个分支，属于人工智能的新领域。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。2006年，机器学习大师Hinton等人在《科学》 上发表的一篇论文，开启了深度学习的浪潮。他提出了深度置信网络的概念，成功地利用贪心策略逐层训练由限制玻尔兹曼机组成的深层架构，解决了以往深度网络训练困难的问题。

 2011年，微软语音识别通过采用深度学习技术，降低了语音识别20%-30%的错误率，是深度学习领域在十多年来的最大的突破进展。

  2012年，人工智能的专家吴恩达联手分布式系统顶级学者JeffDean一起完成Google Brain系统，借助并行计算技术训练出一个超级深度神经网络，该神经网络包含10亿个以上的神经元，在图像分类方面取得了惊人的效果。该项目通过无监督的方式训练深度神经网络，让图像进行自动聚类，成功从没有任何标签的海量图片中识别出了猫脸。同年在21世纪计算大会上微软首席研究官Rick Rashid演示了一个基于深度学习的自动同声传译系统，实时将他的英文演讲转换成音色相近并且规范的中文演讲，而错误率仅7%，而发音却十分顺畅，该系统良好的效果赢得了所有嘉宾的一致好评。

  2015年，微软推出了高效灵活的深度学习编程框架MXNet，可以让使用者很快地写出深度学习的程序。

Deep Learning的常用模型：

1. Auto Encoder自动编码器

2. Sparse Coding稀疏编码

3. Restricted Boltzmann Machine (RBM)限制波尔兹曼机

4. Deep Belief Networks深信度网络

5. Convolutional Neural Networks卷积神经网络

Deep Learning的常用优化方法：

传统的优化方法主要有：

1.梯度下降法2.牛顿法3.共轭梯度法

目前流行的一些方法有：

1.随机梯度下降算法（SGD）

2.批量梯度下降（Batch Gradient Descent，BGD）和Mini-batch梯度下降

3. Momentum和Nesterov Momentum

4. Adagrade，Adadelta，RMSprop，Adam等算法