神经网络综述及简单应用实例课件Matlab程序清华大学课件教学讲义.ppt

第四讲 神经网络;第一部分 人工神经网络简介; 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。 例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。 大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络来源于对人脑实际神经网络的模拟; 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。;1. 生物神经元模型; 生物神经元模型就是一个简单的信号处理器。树突是神经元的信号输入通道，接受来自其他神经元的信息。轴突是神经元的信号输出通道。 信息的处理与传递主要发生在突触附近。神经元细胞体通过树突接受脉冲信号，通过轴突传到突触前膜。当脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)，使位于突触后膜的离子通道(Ion Channel)开放，产生离子流，从而在突触后膜产生正的或负的电位，称为突触后电位。; 突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。一个神经元的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的变化，将对该神经元产生综合作用，即当这些突触后电位的总和超过某一阎值时，该神经元便被激活，并产生脉冲，而且产生的脉冲数与该电位总和值的大小有关。脉冲沿轴突向其他神经元传送，从而实现了神经元之间信息的传递。 ;◆ 连接权： ◆ 求和单元： ◆ 激励函数（响应函数） ： ; 模型中 为输入信号， 为输出信号， 为神经元的阈值。该模型的数学表达式为：;; ◆ 阈值函数： ◆ 分段线性函数： ◆ sigmoid函数： ; ◆ 前馈型网络： ◆ 反馈???网络：; ◆ 学习期： 各计算单元状态不变，各连接线上权值通过学习来修改 ◆ 工作期： 连接权固定，计算单元状态变化，以达到某种稳定状态; ◆ 有教师学习： 外界存在一个教师，对给定的一组输入，提供应有的输出（标准答案），学习系统可根据实际输出与标准答案之间的差值来调整系统参数;◆ 无教师学习： 学习系统按照环境提供数据的某些统计规律来调节自身参数;● 考察神经元 k 在 n 时刻的输入和输出 ● 输入： ● 实际输出： ● 应有输出： ● 由误差信号构造能量函数： 其中E(.)为求期望算子 ● 求解最优化问题： ● 得出系统参数：; 通常情况下用时刻 n 的瞬时值 代替J，即求解最优化问题 由数值迭代算法（如最速下降法、模拟退火算法等），可得 其中 为学习步长; 神经学家Hebb提出的学习规则：当某一连接两端的神经元同步激活（或同为抑制）时，该连接的强度应增强，反之应减弱，数学描述如下： 其中 分别为 两端神经元的状态 最常用的一种情况是：; 对于多层网络，由于有隐层后学习比较困难，限制了多层网络的发展，BP算法的出现解决了这一困难。;下面就逐个样本学习的情况来推导BP算法 如右图，令单元 j 的净输入为 则 求 对 的梯度;其中 称为局部梯度;权值 的修正量为;第二部分 神经网络工具箱;输入层;net = newff ( A, B, {C}, ’trainfun’ );函数名;MATLAB中激励函数为; 除了需要输入A,B,{C},’trainfun’外，还有些默认的参数可 修改，如下表; [ net, tr, Y1, E ]