深度学习笔记整理.pdf

一、概述 2 二、背景 5 三、人脑视觉机理 8 四、关于特征 11 4.1、特征表示的粒度 11 4.2、初级（浅层）特征表示 12 4.3、结构性特征表示 15 4.4、需要有多少个特征？ 17 五、 Deep Learning 的基本思想 18 六、浅层学习（ Shallow Learning ）和深度学习（ Deep Learning）19 七、 Deep learning与 Neural Network 21 八、 Deep learning训练过程 22 8.1、传统神经网络的训练方法为什么不能用在深度神经网络 22 8.2、deep learning训练过程 23 九、 Deep Learning 的常用模型或者方法 25 9.1、AutoEncoder 自动编码器 25 9.2、Sparse Coding稀疏编码 30 9.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机 34 9.4、Deep Belief Networks 深信度网络 38 9.5、Convolutional Neural Networks 卷积神经网络 42 十、总结与展望 57 一、概述 Artificial Intelligence ，也就是人工智能，就像长生不老和星际漫 游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进 步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在 人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这 两者，它甚至都不能分辨一个喵星人和一个汪星人。 图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别对应于 其著名的“图灵机”和“图灵测试”）在 1950 年的论文里，提出图灵试 验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无 疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪 过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年 翘首以待的人们， 心灰意冷，认为人工智能是忽悠， 相关领域是“伪科学”。 但是自 2006 年以来，机器学习领域，取得了突破性的进展。图灵试 验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算 对大数据的并行处理能力， 而且依赖于算法。这个算法就是，DeepLearning 。 借助于 Deep Learning 算法，人类终于找到了如何处理“抽象概念”这个 亘古难题的方法。 2012 年 6 月，《纽约时报》披露了 Google Brain 项目，吸引了公众的 广泛关注。这个项目是由著名的斯坦福大学的机器学习教授 Andrew Ng 和 在大规模计算机系统方面的世界顶尖专家 JeffDean 共同主导，用 16000个 CPU Core 的并行计算平台训练一种称为“深度神经网络”（ DNN，Deep Neural Networks ）的机器学习模型（内部共有 10 亿个节点。这一网络自 然是不能跟人类的神经网络相提并论的。要知道，人脑中可是有 150 多亿 个神经元，互相连接的节点也就是突触数更是如银河沙数。曾经有人估算 过，如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并 拉成一根直线，可从地球连到月亮，再从月亮返回地球） ，在语音识别和图 像识别等领域获得了巨大的成功。 项目负责人之一 Andrew称：“我们没有像通常做的那样自己框定边界， 而是直接把海量