- 1、本文档共14页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
The latest revision on November 22, 2020
The latest revision on November 22, 2020
BP神经网络的基本原理看就懂
BP神经网络的基本原理
BP(Back Propagation)网络是1986年由Rinehart和McClelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)(如图所示)。
BP神经元
图给出了第j个基本BP神经元(节点),它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权、求和与转移。其中x1、x2…xi…xn分别代表来自神经元1、2…i…n的输入;wj1、wj2…wji…wjn则分别表示神经元1、2…i…n与第j个神经元的连接强度,即权值;bj为阈值;f(·)为传递函数;yj为第j个神经元的输出。
第j个神经元的净输入值为:
()
其中:
若视,,即令及包括及,则
于是节点j的净输入可表示为:
()
净输入通过传递函数(Transfer Function)f (·)后,便得到第j个神经元的输出:
()
式中f(·)是单调上升函数,而且必须是有界函数,因为细胞传递的信号不可能无限增加,必有一最大值。
BP网络
BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入层→隐层→输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程。
正向传播
设 BP网络的输入层有n个节点,隐层有q个节点,输出层有m个节点,输入层与隐层之间的权值为,隐层与输出层之间的权值为,如图所示。隐层的传递函数为f1(·),输出层的传递函数为f2(·),则隐层节点的输出为(将阈值写入求和项中):
k=1,2,……q ()
输出层节点的输出为:
j=1,2,……m ()
至此B-P网络就完成了n维空间向量对m维空间的近似映射。
反向传播
1) 定义误差函数
输入个学习样本,用来表示。第个样本输入到网络后得到输出(j=1,2,…m)。采用平方型误差函数,于是得到第p个样本的误差Ep:
()
式中:为期望输出。
对于个样本,全局误差为:
()
2)输出层权值的变化
采用累计误差BP算法调整,使全局误差变小,即
()
式中:—学习率
定义误差信号为:
()
其中第一项:
()
第二项:
()
是输出层传递函数的偏微分。
于是:
()
由链定理得:
()
于是输出层各神经元的权值调整公式为:
()
3)隐层权值的变化
()
定义误差信号为:
()
其中第一项:
()
依链定理有:
()
第二项:
()
是隐层传递函数的偏微分。
于是:
()
由链定理得:
()
从而得到隐层各神经元的权值调整公式为:
()
BP算法的改进
BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但标准BP算法存在以下缺点:收敛速度缓慢;容易陷入局部极小值;难以确定隐层数和隐层节点个数。在实际应用中,BP算法很难胜任,因此出现了很多改进算法。
1) 利用动量法改进BP算法
标准BP算法实质上是一种简单的最速下降静态寻优方法,在修正W(K)时,只按照第K步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢。动量法权值调整算法的具体做法是:将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即:
()
其中:α为动量系数,通常0<α<;η—学习率,范围在~10之间。这种方法所加的动量因子实际上相当于阻尼项,它减小了学习过程中的振荡趋势,从而改善了收敛性。动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制了网络陷入局部极小。
2) 自适应调整学习速率
标准BP算法收敛速度缓慢的一个重要原因是学习率选择不当,学习率选得太小,收敛太慢;学习率选得太大,则有可能修正过头,导致振荡甚至发散。可采用图所
您可能关注的文档
- bpmf与单韵母相拼.docx
- broce博科光纤交换机常用命令与zone配置.docx
- 激光电弧复合焊设备制造研究报告-中国激光电弧复合焊设备制造产业调研报告(2020-2023年).pptx
- 养殖牧场研究报告-养殖牧场项目可行性研究咨询报告(2024年).pptx
- 加工中心研究报告_中国加工中心行业深度发展研究与“十四五”企业投资战略规划报告.pptx
- 拍摄研究报告-拍摄行业市场深度分析及发展规划咨询综合研究报告(2024年.pptx
- 联合办公研究预测报告-联合办公产业深度调研及未来发展现状趋势预测报告(2024-2028年).pptx
- 电竞酒店研究预测报告-电竞酒店产业深度调研及未来发展现状趋势预测报告(2024-2028年).pptx
- 平衡车研究报告-平衡车项目可行性研究报告(2024年.pptx
- 汽车车轮研究报告-汽车车轮项目融资商业计划书(2024年).pptx
- 成品油零售研究报告-中国成品油零售行业发展评估与投资前景预测分析报告(2024年.pptx
- 摄像机研究预测报告-摄像机产品入市调查研究预测报告(2024-2028年).pptx
- PDH微波收发通信机研究报告-PDH微波收发通信机行业兼并重组机会研究及决策咨询报告(2020-20.pptx
- 出行业市场可研预测报告_可研预测报告(2024-2028年.pptx
- 母婴用品研究预测报告-母婴用品项目商业计划书(2024-2028年).pptx
- 蒲公英研究报告-中国蒲公英市场当前现状分析及未来发展趋势预测报告(2024年).pptx
- 建筑工程质量检测研究报告-中国建筑工程质量检测行业发展前景及投资风险分析报告(2020-2023年).pptx
- 涡流、电磁阻尼和电磁驱动(高中物理教学课件)完整版6.pptx
- 车载广告研究报告-车载广告行业深度分析及“十三五”发展规划指导报告(2024年.pptx
- 商业物业研究预测报告-商业物业行业市场深度分析及发展策略研究预测报告(2024-2028年).pptx
文档评论(0)