（毕业论文）基于python疫情数据分析采集.docx

毕业设计

选题名称：

学生姓名： 级学院：班级名称：

指导教师：

基于python新冠疫情实时统计数

据

2021年4月4日

毕业设计诚信声明

本人郑重声明：所呈交的毕业设计是本人在指导教师的指导下，独立进行研究工作所取得的成果，成果不存在知识产权争议，除文中已经注明引用的内容外，本设计不含任何其他个人或集体已经发表或撰写过的作品成果。对本设计的研究做出重要贡献的个人和集体均已在文中以明确方式标明。本人完全意识到本声明的法律结果

由本人承担。

签名：

2021年4月4日

I

目录

1引言 1

1.1项目背景 1

1.2开发环境与工具 2

1.2.1Python介绍 2

1.2.2Pycharms介绍 3

1.2.3Echarts介绍 3

1.2.4MicrosoftExcel介绍 4

2需求分析 4

2.1可行性需求分析 4

2.2采集目标功能分析 4

2.3关键技术分析 6

2.3.1网络爬虫技术 6

2.3.2文件存取技术 7

2.3.3可视化技术 7

3数据采集采集页面分析 7

3.1字段分析 7

3.2数据爬取代码 8

4数据清洗与处理 9

4.1数据清洗 9

4.2数据储存 10

5数据统计与分析 10

5.1数据准备 10

5.2数据展示 11

5.2.1依据国内疫情数据进行统计 11

5.2.2依据国外疫情数据进行统计 11

6设计小结 12

湖南商务职业技术学院毕业设计

1引言

到了2020年上半年，一场疫情袭击了我们所有人的生活。面对生活中突如其来的灾难，每个人都在心里说：“生活竟变得如此。”在短暂的萧条之后，人们意识到，无论生活多么艰难，生活都必须继续。然而，随着互联网的不断发展，计算机行业的许多员工不再满足于他们无法控制的目标，搜索引擎也不够清晰。网络爬虫是根据程序员设置的规则获取网络信息的程序或脚本，它的优点是不仅可以从网络上捕获和保存整个页面，另外，有很高的定制性。根据需要以能得到的数据形式限制爬虫类，除去不需要的部分，维持信息的效率。在其他领域，是金融、教育等行业，爬虫也扮演着重要的角色。大数据技术得到了广泛的应用，越来越多的公司开始建立自己的大数据系统。大数据信息的获取需要通过数据采集技术来实现，这次通常针对医疗行业的一些重要网站的网页信息来获取相关信息。

1.1项目背景

随着时间的推移，信息已经成为一种重要的资源。大数据技术、互联网技术和数据库的不断发展和完善，为我们的大数据分析和提取提供了强有力的支持。随着节后返乡日期的临近，如何安全有序地掌握职工返乡的真实情况，有效规避二次传播风险，这已成为地方政府和企业的难题，是疫情初期建立起来的一套疫情防控管理体系，使人们及时掌握个人防疫信息资料、防疫资料的收集和使用，施工人员可以在任何时间、任何地点迅速报告有关预防个人传染病的信息。为提高数据存储和查询效率，促进疫情防控，防止疫情蔓延，我们专门开发了一个基于Java的基于EE技术的Web应用系统，普通用户可以在前台看到疫情的分布和增长，从医疗行业权威网站疫情采集有价值的信息并进行分析。我的毕业设计就是针对今年新冠肺炎疫情进行数据采集，并对获取的数据进行分析。

1.2开发环境与工具

对于这次新冠肺炎疫情的采集与分析要用到数据的采集、清洗、处理、存储以及数据的可视化图表的展示，还包括一些Python爬虫技术、数据清洗处理技术、可视化分析技术，本项目使用的主要开发工具有Python、Pycharm、MicrosoftExcel、Echarts,第三方库pandas、json、request、re以及BeautifulSoup,

湖南商务职业技术学院毕业设计

2

浏览器GoogleChrome。

1.2.1Python介绍

Python是计算机编程的高级语言。Python是一种支持过程和面向对象的过程的动态语言，实际上在初期阶段，它被设计为创建一个叫做shell的自动化脚本。随着版本的更新和新的语言函数的添加和使用，Python被广泛用于大型独立项目的开发和使用。Python是一种说明性的圣经语言，在很多领域都广泛使用，但实际上初期设计成剧本的自动版本或shell。这不断更新，添