LVQ神经网络算法.pdf

1.LVQ 神经网路的学习算法 LVQ 神经网络算法是在有教师的状态下对竞争层的一种学习算法，因此LVQ 算法可以认为是 自组织特征映射算法改良成有教师学习的算法。LVQ 神经网络算法可以分为LVQ1 算法和 LVQ2 算法两种。 （1）LVQ1 算法 向量量化是利用输入向量的固有结构进行数据压缩的技术，学习向量量化是在向量量化 的基础上能将输入向量分类的监督学习技术。Kohonen 把自组织特征映射算法改良成有教师 学习算法，首先设计了LVQ1 算法。LVQ1 算法的训练过程开始于随机地自“标定”训练集合 选择一个输入向量以及该向量的正确类别。 LVQ1 算法的基本思想是：计算距离输入向量最近的竞争层神经元，从而找到与之相连 接的线性输出神经元，若输入向量的类别与线性输出层神经元所对应的类别一致，则对应的 竞争层神经元权值沿着输入向量的方向移动；反之，若两者的类别不一致，则对应的竞争层 神经元权值沿着输入向量的反方向移动；基本的LVQ1 算法的步骤为： 步骤 ：初始化输入层与竞争层之间的权值 及学习率  。 1 ij  ＞0 步骤2：将输入向量  T 送入到输入层，计算竞争层神经元与输入向量的 x x ,x ,x 1 2 R 距离： R di x j ij 2 i 1，2，，S1 j 1 式中， 为输入层神经元j与竞争层的神经元i之间的权值。 ij 步骤3：选择与输入向量距离最小的竞争层神经元，若di 最小，则记与之连接的线性输 出神经元的类标签为Ci 。 步骤4：记输入向量对应的类标签为Cx，若Ci=Cx，则用如下方法调整权值：   ij _new ij _old x ij _old 否则，按如下方法进行权值更新：   ij _new ij _old x ij _old （2）LVQ2 算法 在LVQ1 算法中，只有一个神经元可以获胜，即只有一个神经元的权值可以得到更新调 整。为了提高分类的正确率，Kononen 改进了LVQ1 算法，称之为LVQ2 算法。LVQ2 算法基 于光滑的移动决策边界逼近Bayes 极限。LVQ2 版本接着被修改产生LVQ2.1，并且最终发展 为LVQ3。这些后来的LVQ 版本的共同特点是引入了 “次获胜”神经元，获胜神经元权值向 量和 “次获胜”神经元的权值向量都更新。具体计算步骤如下： 步骤1：利用LVQ1 算法对所有输入模式进行学习。 步骤2：将输入向量  T 送入到输入层，并根据 x x ,x ,x 1 2 R R di x j ij 2 i 1，2，，S1计算竞争层与输入向量的距离。 j 1 步骤3：选择与输入向量距离最小的两个竞争层神经元i，j。 步骤4：如果神经元i 和神经元j 满足以下两个条件： 神经元 i 和j 对应不同的类别 神经元 i 和j 与当前的输入向量的距离di 和dj 满足下式 d d   i j  min ， ＞  