用户消费行为分析(1).docx

PAGE 1 实验报告 实验名称：用户消费行为分析 学生姓名： 石泽晴 刘伟苓 郭亚玮 李灿 南雪艳 学生学号： 03 10 16 42 45 课程名称：数据采集与预处理综合实训2 实 验 室： 大数据实验中心 院 系： 数学与计算机科学学院 专 业： 数据科学与大数据技术 年 级： 2019级 完成时间： 2021年 6 月 18 日 一、实验目的： 编写MapReduce程序实现数据清洗，将不完整的数据过滤掉，输出数据以‘，’分割。 使用hive对清洗后的数据进行分析 通过对用户行为数据进行分析，计算用户消费趋势： 1.每月各用户的消费次数、购买产品数量、消费总额。 2.每月的消费总次数、购买产品总数量、消费总额、消费人数。 结合分析结果，给出消费趋势结论。 二、实验原理： 用Maven构建Hadoop项目 MapReduce程序实现 Hive分析 三、实验过程（程序清单）： public class ConMain { public static void main(String[] args) throws Exception { Job job = Job.getInstance(new Configuration()); //程序主类 job.setJarByClass(ConMain.class); //Mapper类的相关设置 job.setMapperClass(ConMapper.class); //Map输出key,value类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(NullWritable.class); //Reducer类的相关设置 job.setReducerClass(ConReducer.class); //程序运行输出key,value类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(NullWritable.class); //设置输入，输出路径 FileInputFormat.setInputPaths(job,new Path(args[0])); FileOutputFormat.setOutputPath(job,new Path(args[1])); //提交任务，并等待任务运行完成 job.waitForCompletion(true); } } public class ConMapper extends Mapper<LongWritable, Text,Text, NullWritable> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String string =value.toString(); //分割数据 String[] splits=string.split(" "); //以空格分隔 List list=new ArrayList(); //定义一个空列表 for (String i:splits){ if(!i.equals("")){ list.add(i); } //判断被空格分隔的数据是否为空，如果不为空则添加到列表中 } String data=""; //定义一个空字符串 for (int i=0;i<list.size();i++){ if(i==list.size()-1) { data += list.get(i); }else if (i==1){