第三讲人与工神经网络 .ppt

人工神经网络及其应用 第三讲 神经网络的学习规则和感知器 主讲人：方涛 第三讲 神经网络的学习规则和感知器 主讲内容 ◆ §3.1 机器学习与神经网络学习 ◆ §3.2 几种神经网络学习规则 ◆ §3.3 感知器学习规则、算法以及收敛性 定理 ◆ §3.4 本讲问题 本章目的： ① 介绍各种学习算法的数学原理、分析学习性质； ② 说明算法的使用。 （不讲有关的算法的生理学、生物学原理） 第三讲 神经网络的学习规则和感知器┃主讲人方涛 §3.1 机器学习与神经网络学习 3.1.1 机器学习 3.1.2 神经网络学习及其分类 第三讲 神经网络的学习规则和感知器┃主讲人方涛 3.1.1 机器学习 机器学习━━AI的一个分支学科 §3.1 机器学习与神经网络学习 人类学习行为（客观世界）→研究归纳、类比等基本方法→获取各种知识和技能。 机器学习→了解人类的各种学习过程→建立各种学习模型→赋予机器的学习能力。 有了学习能力，才能不断自我完善，自我校正，自动获取和发现新的知识…… 没有机器学习的系统不会是一个真正的智能系统。 机器学习目前已经有：事例学习、遗传学习、类比学习…… 第三讲 神经网络的学习规则和感知器┃主讲人方涛 §3.1 机器学习与神经网络学习 机器学习的发展历史： ① 20世纪50年代中期 研究没有任何初始知识的通用学习系统，尤其是神经网络系统。 主要特点：数值表示和参数调整，比如感知机、生物进化过程模拟等。 AI：符号表示和启发式方法，即偏于模式识别 ② 20世纪60年代初期 概念学习和语言获取。 主要特点：符号表示（已成为AI主要方法） ③ 20世纪70年代中后期 专家系统和知识工程形成，对知识尤为关注，兴盛时期。 ④ 20世纪80年代中后期 源于神经网络的重新兴起，使非符号的神经网络研究和符号学习得以深入开展。 第三讲 神经网络的学习规则和感知器┃主讲人方涛 §3.1 机器学习与神经网络学习 机器学习的发展历史： ⑤ 20世纪90年代 有限样本统计理论线性空间表示,Vapnik：SVM（1991）; 弱学习定理（1990）; Freund：AdaBoost（1996） ⑥21世纪近10年----流形学习研究热 局部线性嵌入(LLE) 等距映射(Isomap) 拉普拉斯特征映射(Laplacian Eigenmap)…… 第三讲 神经网络的学习规则和感知器┃主讲人方涛 17 对象的层次性流形（HML）构造 高维特征空间的层次性流形学习 ◆流形学习降维 ?研究目标高维特征低维嵌套的非线性映射， 提供目标特性低维表达的有效方式 ? LLE、ISOMap、Laplacian Eigenmap、 Hessian Eigenmap等 ?多子流形 ◆多类别高分影像对象 ?广泛存在大类、小类等层次性结构 ?单一结构的流形难以更准确进行非线性映射 ◆层次性流形（HML） ?不同类别、不同层次的多个子流形 ?父流形与子流形间关系，通过自下而上“共 享特征”实现 ?层次性邻及矩阵 18 ◆流形学习降维 ?广义回归神经网络GRNN 解决out-of-sample ?通过层次性流形（HML） 降维，解译精度比单一流 形性能显著提高 高维特征空间的层次性流形学习 该方法得到了国际同行评价“This is a completely valid approach from a pragmatic perspective, and can even lead to better results” §3.1 机器学习与神经网络学习 3.1.2 神经网络学习及其分类 人工神经网络的主要学习算法： 3.1.2.1 有无导师的学习方式 与机器学习类似：事例学习、无导师学习、死记式学习…。主要分为： ①监督学习（有导师学习） 依据期望值与实际网络输出值之差来调整连接权，因此需要有导师来提供期望值。 将训练样本的数据加入到网络输入端，由期望输出与网络输出得到误差信号，由此控制连接权的调整，多次训练使得连接权收敛到某个确定值。 反传网络、感知器、LVQ算法、广义 规则…… 第三讲 神经网络的学习规则和感知器┃主讲人方涛 §3.1 机器学习与神经网络学习 ② 非监督学习（无导师学习） 神经元仅根据I/O来修正连接权。直接将网络置于环境中，学习阶段与工作阶段于一体，具有自适应性。 比如：Hebb学习规则（简单），竞争学习（复杂）、ART、自组织映射… ③ 强化学习 （有导师学习的特例） 采用“评论员”来评价与