原创力文档- 1、本文档共100页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
第5章语言模型
第5章 语言模型
北京市海淀区中关村东路95号 电话：+86-10-8254 4688
邮编：100190 邮件：cqzong@
5.1 基本概念
宗成庆： 《自然语言理解》讲义，第5 章 2/100
5.1 基本概念
大规模语料库的出现为自然语言统计处理
方法的实现提供了可能，统计方法的成功使用
推动了语料库语言学的发展。
基于大规模语料库和统计方法，可以
－ 发现语言使用的普遍规律
－ 进行机器学习、自动获取语言知识
－ 对未知语言现象进行推测
宗成庆： 《自然语言理解》讲义，第5 章 3/100
5.1 基本概念
如何计算一段文字(句子)的概率？
阳春三月春意盎然，少先队员脸上荡
漾着喜悦的笑容，鲜艳的红领巾在他们
的胸前迎风飘扬。
以一段文字(句子)为单位统计相对频率？
根据句子构成单位的概率计算联合概率?
p (w ) ×p (w ) ×…×p (w )
1 2 n
宗成庆： 《自然语言理解》讲义，第5 章 4/100
5.1 基本概念
语句s = w1 w2 … wm 的先验概率：
p (s) = p (w ) ×p (w |w ) ×p (w |w w ) ×…
1 2 1 3 1 2
×p (w |w …w )
m 1 m- 1
m
p(w | w w )
i 1 i1 … (5-1)
i1
当i=1 时，p (w |w ) = p (w ) 。
1 0 1
语言模型
宗成庆： 《自然语言理解》讲义，第5 章 5/100
5.1 基本概念
说明：
(1) w 可以是字、词、短语或词类等等，称为
i
统计基元。通常以“词”代之。
(2) w 的概率由w , …, w 决定，由特定的一
i 1 i-1
组w , …, w 构成的一个序列，称为w 的历
1 i-1 i
史（history ）。
宗成庆： 《自然语言理解》讲义，第5 章 6/100
5.1 基本概念
问题：随着历史基元数量
文档评论（0）