BP人工神经网络的基本原理、模型与实例(教学课件）.ppt

* 第8章人工神经网络方法 本讲大纲： 人工神经网络的基本概念 误差反向传播(BP)神经网络 8.1人工神经网络的基本概念 从数学和物理方法以及信息处理的角度，对人脑神经网络进行抽象，并建立某种简化模型，称为人工神经网络。 应用领域： 模式识别 系统辨识 预测预估 数据挖掘 经济学 …… 8.1人工神经网络的基本概念 人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数，反映的是输入变量到输出变量间的复杂映射关系。先给出单个人工神经网络的一般模型描述： 8.1人工神经网络的基本概念 先来看一个单一输入的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (·) w1 x1 f (·) w1x1 8.1人工神经网络的基本概念 8.1人工神经网络的基本概念 单极sigmoid函数 8.1人工神经网络的基本概念 双曲函数 8.1人工神经网络的基本概念 增加激活阈值后的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (·) w1 x1 f (·) w1x1-θ -1 小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？ x1 w1 θ 1 0.2 0.4 8.1人工神经网络的基本概念 当输入增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (·) w1 x1 f (·) w1x1 +w2x2-θ -1 w2 x2 小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？ x1 x2 w1 w2 θ 1 0 0.2 0.4 0.4 8.1人工神经网络的基本概念 w1 w2 wm xm x2 x1 ...... ...... f (·) -1 8.1人工神经网络的基本概念 当多个神经元组合起来时，人工神经网络的总体结构如下： 输入层 隐 藏 层 -1 -1 -1 ∑ f ∑ f ...... ...... ...... ...... xm x2 x1 ...... ...... ...... ...... y1 y2 yn ∑ f ∑ f ∑ f ∑ f ∑ f ∑ f ∑ f -1 输出层 ...... ...... 8.1人工神经网络的基本概念 当层数增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (·) w1 x1 f (·) w1x1 +w2x2-θ -1 w2 x2 小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？ x1 x2 w1 w2 θ 1 0 0.2 0.4 0.4 8.1人工神经网络的基本概念 x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 1 0 1 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 0.4 -0.2 -0.1 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 初始输入、权重和偏倚值 小练习：请你算一算，各节点的净输入和净输出分别是多少？ 8.1人工神经网络的基本概念 单元 j 净输入 Ij 净输出 Oj 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 净输入和输出的计算 -0.7 0.1 0.332 0.525 -0.105 0.474 4 0.2+0-0.5-0.4=-0.7 5 -0.3+0+0.2+0.2=0.1 6 -(0.3)(0.332)-(0.2)(0.525)+0.1=-0.105 1/(1+e0.7)=0.332 1/(1+e-0.1)=0.525 1/(1+e0.105)=0.474 8.1人工神经网络的基本概念 思考： 如果想要让神经网络的期望输出尽可能接近“1”这个数值，请问应该调整网络的哪些参数？ 8.1人工神经网络的基本概念 1 2 3 4 5 6 x1 x3 x2 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 x1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w56 θ4 θ5 θ6 1 0 1 0.192 -0.306 0.4 0.1 -0.508 0.194 -0.261 -0.138 0.408 -0.194 -0.218 初始输入、权重和偏倚值 小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多少？ 8.1人工神