任何技术的发展过程，都伴随着一些重要的突破节点，在深度学习技术方面，可划分为模型初

步、大规模尝试和遍地开花三个阶段。

2006 年前后，深度模型初见端倪，这个阶段主要的挑战是如何有效训练更大更深层次的神经网络，曾一度因为梯度方法容易造成层次间信息损失而效果受到影响。业界尝试利用逐层预训练的方法（还有一种尝试方法是上文提到的LSTM）来解决该问题，预训练首先通过无监督学习得到一些比较稳定的特征，而后用监督学习稍加调整便可得到较好效果，最早是1992 年Schmidhuber 提出，而后Hinton 等人在2006 年改进为前向运算和反向传播。

2011 年底，大公司逐步开始进行大规模深度学习的设计和部署。“ Google 大脑”项目启动，由时任斯坦福大学教授的吴恩达和Google 首席架构师Jeff Dean 主导，专注于发展最先进的神经网络。初期重点是使用大数据集以及海量计算，尽可能拓展计算机的感知和语言理解能力。该项目最终采用了16000 个GPU 搭建并行计算平台，以YouTube 视频中的猫脸作为数据对网络进行训练和识别，引起业界轰动，此后在语音识别和图像识别等领域均有所斩获。

随着GPU 的提速，深层网络的很多训练过程已无需预训练就可直接进行，2011 年Ciresan 等利用深度卷积神经网络赢得多项文本识别、交通标志识别和医学图像识别等竞赛。2012年之前，竞赛中物体的识别率一直提升得非常缓慢（低于70%），2012 年引入深度学习之后，Hinton 等人赢得ILSVRC-2012 ImageNet，识别率一跃升至80%，现在已超过95%。这标志了人工特征工程正逐步被深度模型所取代。从排名来看，深度学习目前具有压倒性优势，已经取代了传统视觉方法在这一竞赛中的地位。

强化学习也重新成为焦点，2016 年Google 子公司DeepMind 研发的基于深度强化学习网络的AlphaGo，与人类顶尖棋手李世石进行了一场“世纪对决”，最终赢得比赛。AlphaGo突破了传统程序，搭建了两套模仿人类思维的深度学习：价值网络承担棋局态势评估，策略网络选择如何落子。