微博中水军的发现算法与研究.doc

学号?： 1 常 州 大 学 硕 士 学 位 论 文 ? 微博中水军的发现算法研究 研究生 徐小松 指 导 教 师 杨长春 教授 学科、专业名称 计算机应用技术 研究方向 Web数据挖掘 ? 2014 年 3 月 A Research about the Navy discovery in Micro-blog ? ?? A Dissertation Submitted to Changzhou University ?? By ? Xu Xiaosong (Computer Applications Technology) ? ? Dissertation Supervisor: Prof. Yang Changchun ? ? March，2014 常州大学学位论文原创性声明 本人郑重声明：所呈交的学位论文是本人在导师指导下独立进行的研究工作及取得的研究成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在论文中以明确方式标明。本人已完全意识到本声明的法律结果由本人承担。 作者签名： 签字日期： 年 月 日 学位论文版权使用授权的说明 本学位论文作者完全了解 常州大学 有关保留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属常州大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。学校可以公布学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。 保密论文注释：本学位论文属于保密范围，在 年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。 学位论文作者签名： 签字日期： 年 月 日 导师签名： 签字日期： 年 月 日 中文摘要 微博的出现给人们带来了翻天覆地的变化。通过微博我们可以很方便地获取信息，同时也可以使用它来关注自己想要关注的人或者关注他们的点点滴滴，因此越来越多的人正在使用它。然而，时间久了就会发现在微博中出现了许多重复的并且不断骚扰我们视线的内容，而且有些内容一度被认为是炒作，随即也相应地出现了网络水军这一称号。发现并且去除水军对于维护网络安全、网络真实性来说是非常有研究意义的一个话题。 本文就如何发现水军用户提出了一种方法，首先在数以万计的评论内容中找出相似的评论内容，然后在这些相似的评论内容中找出出现次数较多的用户，对这些用户进行统计分析找出水军。 本文的难点以及重点就是找出一种适合于在大规模文本中进行文本去重的方法。本文主要提出了一种改进的I-Match算法。他的主要核心思想就是根据评论内容中字、词权重的高低，顺序选取得到一个固定长度的字符串作为特征码。特征码经过最长公共子序列的精确计算以及md5特征映射得到此评论内容的一组特征码数值。特征码数值再经过B-Tree索引，能够从大规模的评论内容中有效地找出相似的评论内容。根据水军发帖的重复性或者相似性很高的特点，通过对多个相同或相似的评论内容的用户进行统计分析找出出现次数频繁的用户，初步定义为水军。再对这些用户的评论内容进行分析，发现他们的评论内容基本上都是具有重复性。通过实验对比可以发现改进的I-Match算法比原方法得到的结果更加的精确，它能够将那些漏字、添字或者有稍微改动的但是还是比较相似的文本给找出来。实验证明此方法可以有效地进行文本去重。 实验证明本文发现水军的算法可以有效地发现水军，希望本文的研究能够为微博平台提供一些帮助。 关键字：网络水军；文本相似；I-Match算法 ；最长公共子序列；MD5特征映射； Abstract Micro-blog brought enormous changes to people. We can find information from Micro-blog easily and we can pay close attention to people which we want to know, then we can see bits and pieces of their lives. So, more and more people use it in the modern time. H