2024年广西职业院校技能大赛中职组《大数据应用与服务》赛项样题第3套.pdf

2024年广西职业院校技能大赛

中职组《大数据应用与服务》赛项

样题第3套

一、背景描述

在当今数字化飞速发展的时代，大数据技术在各行各业都

扮演着至关重要的角色，而在学校数据管理领域，大数据的应

用更是愈发凸显其重要性。学校作为一个庞大而复杂的组织体

系，拥有众多的学生、教职工和各种资源，数据的产生和管理

变得日益庞大而复杂。因此，大数据技术的引入成为学校数据

治理的一项重要举措。

在中职教育领域，大数据比赛的举办对学生、学校和整个

教育体系都具有重要的意义。首先，大数据比赛为中职学生提

供了一个实践和展示自己技能的平台。通过参与比赛，学生可

以运用所学的大数据技术知识，解决实际问题，提高实际操作

能力。这不仅有助于加深学生对大数据领域的理解，还锻炼了

他们的团队协作和问题解决能力。

其次，中职大数据比赛有助于激发学生对科学技术的兴趣。

通过实际操作和创新性的比赛内容，学生更容易对大数据技术

产生浓厚的兴趣，并在实践中感受到这一领域的魅力。这种积

极的学习体验有助于激发学生对科技领域的兴趣，培养创新意

识，为其未来的职业发展奠定基础。

另外，中职大数据比赛也为学校提供了一个展示自身教学

水平和培养优秀学生的机会。优异的比赛成绩不仅可以提升学

校的声誉，还有助于吸引更多学生报考相关专业。同时，学校

通过组织和支持学生参与大数据比赛，也能够加深与企业、行

业的合作关系，促进校企合作的深度发展。

总体而言，中职大数据比赛在推动学生综合素质提升、促

进科技创新、推动学校发展等方面发挥着重要的作用。通过这

样的比赛活动，中职教育能够更好地适应社会需求，培养更符

合产业发展需求的人才，为学生未来的职业生涯打下坚实基础。

二、模块一：平台搭建与运维

（一）任务一：大数据平台搭建

1.子任务一：Hadoop完全分布式安装配置

本任务需要使用root用户完成相关配置。打开竞赛平台

的赛题资源的容器资源，利用智联助手的SSH集成窗口打开容

器，基于竞赛平台进行完全分布式模式Hadoop的搭建和管理。

相关安装文件在容器“/opt”目录下，请选择对应的安装包进

行安装，用不到的可忽略。主机名为master、slave1、slave2

的三台节点都需要安装JDK和Hadoop。

（1）在master节点执行命令，创建jdk安装目录

“/data/jdk”和Hadoop安装目录“/data/hadoop”，执行ls

命令查看创建的目录。提交创建目录的命令和查看的结果截图；

（2）在master节点执行tar命令（请确保在解压缩文件

时，不要保留原始文件路径中的第一个目录层级），将节点中

“/opt”目录下jdk安装文件解压到节点中的“/data/jdk”

目录，将Hadoop安装文件解压到节点中的“/data/hadoop”

目录，执行ls命令分别查看解压后的文件。提交解压命令和

查看的结果截图；

（3）在三台节点分别修改“/etc/hosts”配置，添加三

台节点ip和主机名映射；配置ssh免密，实现master、slave1、

slave2三台节点间相互免密登录，在master节点执行“ssh

slave1”命令和在slave2节点执行“sshmaster”命令验证。

提交“/etc/hosts”配置截图、在master执行的免密命令和

执行结果截图、验证命令的结果截图；

（4）在master节点使用scp命令并使用绝对路径将jdk

目录拷贝到slave1和slave2（若路径不存在，则需新建），

并在三台节点的“/etc/profile”文件中配置jdk环境变量并

使其生效，配置完毕后，在节点中执行“java-version”命

令，检测jdk是否安装成功。提交scp命令、环境变量截图和

使环境变量生效命令、检测命令结果截图；

（5）依次配置hadoop-env.sh、core-site.xml、workers

配置文件，其中NameNode的地址为master节点，端口为9000，

master、slave1、slave2节点均作为DataNode，配置好相关

环境。在master节点使用scp命令将配置完的Hadoop安装目

录直接拷贝至slave1和slave2（若路径不存在，则需新建），

在三台节点