大数据晋耀武.pptxVIP

22大数据Z1_2228260014_晋耀武XXXXXXX

-目录1、摘要

22大数据Z1_2228260014_晋耀武1、摘要1.需求分析：通过分析用户和物品数据建立模型，提高推荐准确率，实现个性化推荐2.系统设计：主要包括数据收集、特征提取、模型训练和推荐生成3.系统实现与测试：主要包括数据预处理、模型训练、模型评估和优化等步骤，以确保算法在实际应用中的效果和性能4.完成情况：完成了对电影特征的可视化分析；完成了基于简单特征(内容、关键词)的两种推荐算法、基于KNN的两种协同过滤算法

22大数据Z1_2228260014_晋耀武二、问题描述基于电影数据集，依据电影的简介、关键词、预算、票房、用户评分等特征来对电影进行分析，并完成以下任务1.对电影特征的可视化分析2.多功能个性化的电影推荐算法

22大数据Z1_2228260014_晋耀武三、探索性数据分析1.首先对电影数据的一些特征进行了可视化分析，来为之后电影推荐做帮助

22大数据Z1_2228260014_晋耀武图表1票房与预算关系散点图

22大数据Z1_2228260014_晋耀武图表2票房与欢迎程度散点图图表3戏剧性程度散点图

22大数据Z1_2228260014_晋耀武从图中可以看出，这三个特征与票房之间存在着比较强的相关关系，于是选取了票房、预算、受欢迎程度、戏剧性、放映时间、id、上映年份7个特征，绘制了它们之间的相关关系图，如下图所示图表4相关性图图中颜色越深代表相关关系越强，可以看出电影票房与预算、受欢迎程度、戏剧性三个特征有着很强的相关关系，而与上映时间、id等信息几乎没有相关关系，符合预期

22大数据Z1_2228260014_晋耀武四、数据预处理1.首先对提供的数据进行了处理与清洗2.加入了一些额外的电影数据，包括电影上映日期、评分、受欢迎度等3.最终使用的特征包括了电影名称、发行公司、受欢迎程度、戏剧性程度、评分人数、评分、放映时长、预算等

22大数据Z1_2228260014_晋耀武五、推荐算法的测试和评估1．关于电影推荐的算法(1)基于内容的推荐算法：基于电影简介文本的推荐算法、基于电影内容的推荐算法首先将电影数据中的简介文本通过sklearn中的`TfidfVectorizer`：将简介文本变成向量，并使用`cosine`距离来度量向量之间的相似度用户输入一个电影名字：算法推荐与之最相近的10部电影

22大数据Z1_2228260014_晋耀武图表5基于电影简介文本推荐结果1.这里利用了电影中的关键词、类型、导演、演员等信息

22大数据Z1_2228260014_晋耀武2.首先使用sklearn中的`CountVectorizer`将文本转换为词频矩阵，之后利用`cosine`距离来度量电影之间的相似度，与(1)算法很类似3.用户输入一个电影名字，算法推荐与之最相近的10部电影

22大数据Z1_2228260014_晋耀武图表6基于电影内容推荐结果(2)基于KNN的协同过滤算法：针对电影相似度的推荐算法、针对用户相似度的推荐算法

22大数据Z1_2228260014_晋耀武图表7针对电影相似度推荐算法结果图表8针对用户相似度推荐算法结果

22大数据Z1_2228260014_晋耀武六、结论在本次《推荐系统》的期末大作业中，针对电影推荐算法进行了深入的分析。通过对电影数据集的探索性数据分析，发现票房、预算和受欢迎程度等特征与电影票房之间存在较强的相关关系。在此基础上，进行了数据预处理，加入了额外的电影数据，并最终选择了包括电影名称、发行公司、受欢迎程度、戏剧性程度、评分人数、评分、放映时长和预算等特征用于后续的推荐算法

22大数据Z1_2228260014_晋耀武16在推荐算法的测试和评估部分，尝试了多种推荐算法，包括基于内容的推荐算法和基于KNN的协同过滤算法。基于内容的推荐算法主要利用了电影简介文本和内容的相似度进行推荐，而基于KNN的协同过滤算法则分别针对电影相似度和用户相似度进行推荐。通过可视化的方式，展示了不同推荐算法的结果，并发现基于内容的推荐算法和基于KNN的协同过滤算法均能有效地为用户提供个性化的电影推荐总的来说，通过本次大作业，对电影推荐算法有了更深入的理解和实践。我发现基于内容的推荐算法和基于KNN的协同过滤算法在实际应用中均能取得较好的效果。未来，可以进一步优化推荐算法，提高推荐准确率，为用户提供更加个性化的服务

22大数据Z1_2228260014_晋耀武七、参考文献[1]王宇哲.基于内容的电影推荐算法研究[J].信息系统工程,2023,(12):117-120[2]刘华玲,马俊,张国祥.基于深度学习的内容推荐算法研究综述[J].计算机工程,2021,47(07):1-12.