- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
资料收集于网络,如有侵权 请联系网站删除
深度学习在自然语言处理中的应用
李晟群
摘 要:近年来,深度学习在图像和语音处理领域已经取得显著进展,但是在
同属人类认知范畴的自然语言处理任务中,研究还未取得重大突破 .本文通过分
析目前国内外部分专家学者对面向自然语言处理的深度学习研究的总体概况, 梳
理、总结了相关文献, 介绍深度学习的基本概念; 分析讨论了当前面向自然语言
处理的深度学习研究进展及应用策略和深度学习的平台和工具; 对深度学习在自
然语言处理处理领域的发展趋势和有待深入研究的难点进行了展望 .
关键词: 自然语言处理,深度学习,神经网络
1. 前言
深度学习在图像的语音领域取得了突出成果, 但是在自然语言处理上还未取
得重大突破, 与语音和图像不同, 语言是一种经过人类大脑产生并加工处理的符
号系统,似乎模仿人脑结构的人工神经网络应该在自然语言处理领域拥有更多优
势,但实际情况并非如此 .同时,近几十年来,基于统计的模型成为自然语言处
理非主流方法之后, 属于统计方法典型代表的人工神经网络在自然语言处理领域
依然没有得到足够重视 .当然,这一切在 2006 年 Hinton 等提出深度学习 [1] 以后,
情况发生了变化, 当前结合深度学习模型开展自然语言处理相关应用已经取得了
一定成果,并成为研究热点之一 .本文主要对深度学习在自然语言处理领域的研
究概况进行总结,并且指出当前存在的问题和对未来的发展方向进行一个探讨 .
2. 深度学习的基本概念
深度学习( Deep learning )通过建立深层神经网络,模拟人脑的机制进行解
只供学习与交流
资料收集于网络,如有侵权 请联系网站删除
释并分析学习图像、 语音及文本等数据, 是目前机器学习研究中的一个热点领域 .
传统机器学习工作的有效性, 很大程度上依赖于人工设计的数据表示和输入特征
的有效性;机器学习方法在这个过程中的作用仅仅是优化学习权重以便最终输出
最优的学习结果 .与传统机器学习方法不同的是,深度学习试图自动完成数据表
示和特征提取工作; 并且深度学习更强调, 通过学习过程提取出不同水平、 不同
维度的有效表示,以便提高不同抽象层次上对数据的解释能力 .从认知科学角度
来看,这个思路与人类学习机理非常吻合 .
3. 深度学习在自然语言处理领域的研究概况
神经网络和深度学习模型首先是在计算机视觉等领域取得了进展, 而在自然
语言处理领域,其获得大量应用的时间相对较晚 .从二十一世纪初开始,一些将
神经网络和深度学习应用在自然语言处理领域的文章被陆续发表 .
Bengio et al. (2003)[2] 提出了利用递归神经网络建立语言模型,该模型利用
递归神经网络为每个词学习一个分布表示( distributed representation )的同时,
也为词序列进行了建模 .该模型在实验中取得了比同时期最优的 n 元语法模型更
好的结果,且可以利用更多的上下文信息 .
[3] 提出了一种利用神经
您可能关注的文档
- 淘宝设计师信息档案范本.pdf
- 淘宝认知和开店前的准备专业知识讲座.pdf
- 淘宝视频直播封面图内容管理规范.pdf
- 淘宝网营销策略分析.pdf
- 淘宝运营干货大集合(运营必备).pdf
- 淘宝运营方案.pdf
- 淘宝运营的主要工作内容及店铺运营知识资料.pdf
- 淘宝运营试题.pdf
- 淘汰赛的方法与编排资料.pdf
- 淡马锡项目管理启示.pdf
- 2024年安徽亳州蒙城县招募特聘动物防疫专员18人历年公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年夏福建上杭县事业单位招考拟录人选五公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年国网英大国际控股集团限公司招聘约4人历年公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年安徽安庆桐城团市委选调工作人员1人历年公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年宁波市象山县黄避岙乡人民政府招考编制外人员公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年安徽合肥肥西县供销社招聘基层单位工作人员12人公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年国家科技基础平台中心招聘2人公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年安徽六安裕安区招聘乡镇事业单位人员5人历年公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年大同市左云县部分事业单位招考聘用41人公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
- 2024年四川省成都石油化学工业园区管理委员会招聘6人历年公开引进高层次人才和急需紧缺人才笔试参考题库(共500题)答案详解版.docx
文档评论(0)