神经网络基本原理优秀.ppt

31 人工神经网络的互连结构及其学习机理 ? 人工神经网络的拓扑结构 建立人工神经网络的一个重要步骤是构造人工神 经网络的拓扑结构，即确定人工神经元之间的互连结构。 根据神经元之间连接的拓扑结构，可将神经网络的互连 结构分为 层次型网络 和 互连型网络 两大类。层次型网络 结构又可根据层数的多少分为 单层 、 两层 及 多层 网络结 构。 32 人工神经网络的互连结构及其学习机理 简单单级网 … … x 1 x 2 … x n o 1 o 2 o n w nm w 11 w 1m w 2m w n1 输出层 输入层 33 ? 单层网络结构有时也称两层网络结构 单层或两层神经网络结构是早期神经网络模型的互连模式，这种 互连模式是最简单的层次结构。 1 ）不允许属于同一层次间的神 经元互连。 2 ）允许同一层次间的神经元互连，则称为 带侧抑制 的连接（或横向反馈） 。此外，在有些双层神经网络中，还允许 不同层之间有反馈连接。 输出层 x 1 o 1 w 11 w 1m x 2 o 2 w 2m … … … x n o m w n1 输入层 V 34 ? 多层网络结构 通常把三层和三层以上的神经网络结构称为 多层神经网络 结构 。所有神经元按功能分为若干层。一般有 输入层 、 隐层（中 间层） 和 输出层 。 输出层 隐藏层 输入层 o 1 o 2 o m … x 1 x 2 x n … … … … … … 35 ? 多层网络结构 ? 1 ） 输入层 节点上的神经元接受外部环境的输入模式，并由它传 递给相连隐层上的各个神经元。 2 ） 隐层 是神经元网络的内部处理层，这些神经元再在网络内部 构成中间层，由于它们不直接与外部输入、输出打交道，故称隐 层。人工神经网络所具有的模式变换能力主要体现在隐层的神经 元上。 3 ） 输出层 用于产生神经网络的输出模式。 较有代表性的多层网络模型有： 前向网络模型 、 多层侧抑制神经 网络模型 和 带有反馈的多层神经网络模型 等。 36 ? 多层前向神经网络 多层前向神经网络模型 如图 5-8 所示。输入模式：由输入层进 入网络，经中间各层的顺序变换，最后由输出层产生一个输 出模式，便完成一次网络更新。 前向网络的连接模式不具有侧抑制和反馈的连接方式。 ……… ……… ……… 图 5-8 多层前向神经网络模型 37 ? 多层侧抑制神经网 同一层内有相互连接 的多层前向网络，它允许网络中同一层上的 神经元之间相互连接，如图 5-9 所示。这种连接方式将形成同一 层的神经元彼此之间的牵制作用，可实现同一层上神经元之间的 横向抑制或兴奋的机制。这样可以用来限制同一层内能同时激活 神经元的个数，或者把每一层内的神经元分成若干组，让每组作 为一个整体来动作。 ……… ……… ……… 图 5-9 多层侧抑制神经网络 38 ? 带有反馈的多层神经网络 这是一种允许输出层 - 隐层，隐层中各层之间， 隐层 - 输入层之间具有反馈连接的方式，反馈的结 果将构成封闭环路。 x 1 o 1 输出层 隐藏层 输入层 x 2 o 2 o m x n … … … … … … … 39 ? 带有反馈的多层神经网络 这种神经网络和前向多层神经网络不同。多层 前向神经网络属于非循环连接模式，它的每个神 经元的输入都没有包含该神经元先前的输出，因 此可以说是没有“ 短期记忆 ”的。但带反馈的多 层神经网络则不同，它的每个神经元的输入都有 可能包含有该神经元先前的输出反馈信息。因此， 它的输出要由当前的输入和先前的输出两者来决 定，这有点类似于人类短期记忆的性质。 40 ? 人工神经网络的运行一般分为学习和工 作两个阶段。 41 ? 人工神经网络学习 人工神经网络最具有吸引力的特点是它的学习能力。 人工神经网络学习和记忆的心理学基础 学习和记忆是人类智能的一个重要特征。有一种 观点认为，人类的学习过程实际上是一种经过训练而 使个体在行为上产生较为持久改变的过程。按照这种 观点，学习离不开训练。 42 ? 人工神经网络学习 学习和记忆同样也应该是人工神经网络的一个重 要特征。 人工神经网络的 学习过程就是它的训练过程 。人 工神经网络的功能特性由其连接的 拓扑结构 和突触 连 接强度 （即连接权值）来确定。神经网络训练的实质 是通过对样本集的输入 / 输出模式反复作用于网络， 网络按照一定的学习算法自动调节神经元之间的连接 强度 （阈值） 或拓扑结构，当网络的实际输出满足期 望要求，或者趋于稳定时，则认为学习圆满结束。 43 ? 人工神经网络的学习算法 ? 学习算法是人工神经网络研究中的核心问题 神经网络学习算法有很多，大体可分为 有导师学习 （ Supervised Learning ）、 和 无导师学习 （ Unsup