大数据与数据挖掘之文本挖掘.pptx

大数据与数据挖掘-;文本挖掘的背景;文本挖掘概念;文本挖掘的过程;预处理;最大匹配分词法;;;;停用词;9、 人的价值，在招收诱惑的一瞬间被决定。5月-215月-21Friday, May 28, 2021 10、低头要有勇气，抬头要有低气。03:54:5403:54:5403:545/28/2021 3:54:54 AM 11、人总是珍惜为得到。5月-2103:54:5403:54May-2128-May-21 12、人乱于心，不宽余请。03:54:5403:54:5403:54Friday, May 28, 2021 13、生气是拿别人做错的事来惩罚自己。5月-215月-2103:54:5403:54:54May 28, 2021 14、抱最大的希望，作最大的努力。28 五月 20213:54:54 上午03:54:545月-21 15、一个人炫耀什么，说明他内心缺少什么。。五月 213:54 上午5月-2103:54May 28, 2021 16、业余生活要有意义，不要越轨。2021/5/28 3:54:5403:54:5428 May 2021 17、一个人即使已登上顶峰，也仍要自强不息。3:54:54 上午3:54 上午03:54:545月-21;9、 人的价值，在招收诱惑的一瞬间被决定。5月-215月-21Friday, May 28, 2021 10、低头要有勇气，抬头要有低气。03:54:5403:54:5403:545/28/2021 3:54:54 AM 11、人总是珍惜为得到。5月-2103:54:5403:54May-2128-May-21 12、人乱于心，不宽余请。03:54:5403:54:5403:54Friday, May 28, 2021 13、生气是拿别人做错的事来惩罚自己。5月-215月-2103:54:5403:54:54May 28, 2021 14、抱最大的希望，作最大的努力。28 五月 20213:54:54 上午03:54:545月-21 15、一个人炫耀什么，说明他内心缺少什么。。五月 213:54 上午5月-2103:54May 28, 2021 16、业余生活要有意义，不要越轨。2021/5/28 3:54:5403:54:5428 May 2021 17、一个人即使已登上顶峰，也仍要自强不息。3:54:54 上午3:54 上午03:54:545月-21;文档建模;;文档的向量空间模型;W权值计算方法TF-IDF 目前广泛采用TF-IDF权值计算方法来计算权重， TF-IDF的主要思想是，如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。 IDF逆文档频率(Inverse Document Frequency)是全体文档数与包含词条文档数的比值。如果包含词条的文档越少，IDF越大，则说明词条具有很好的类别区分能力。 在完整的向量空间模型中，将TF和IDF组合在一起，形成TF-IDF度量：TF-IDF（d,t）= TF(d,t)*IDF(t) ;TF度量;IDF度量;关键词与网页的相关性计算;;;;算例1;算例2;文档相似性计算;;文档相似性计算示例;;;信息检索;文本检索的基本度量;信息检索的度量方式;模型质量的评价实例;文本挖掘举例;文档向量化;查询：相关度;文档间相似度（余弦定理）;3.文本的维度规约;文本挖掘方法;（1）关键词检索 关键词建立倒排文件索引，与传统的信息检索使用的技术类似。 （2）相似检索 找到相似内容的文本。 （3）词语关联分析 聚焦在词语（包括关键词）之间的关联信息分析上。 （4）文本聚类和文本分类 实现文本的聚类和分类。 （5）自然语言处理 揭示自然语言处理技术的语义，进行文本语义挖掘。 ;关联分析挖掘 ;关联分析挖掘 ;关联分析挖掘 ;关联分析挖掘;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档分类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;文档聚类分析;