财务大数据分析 课件 高教（高翠莲） 项目三 数据预处理.pptx

任课老师：目录项目三数据预处理nsy项目一大数据基础项且二数据获取项目五大数据+资金分析项目四大数据+财报数据分析项目七大数据+费用分析项目六大数据+销售分析任务1.数据清洗任务2数据集成项目三数据预处理任务1Python简介及安装【知识精讲】一、数据预处理概念及预处理流程方法(一)数据预处理的基本概念数据预处理(DataPreprocessing)是指在主要的处理以前对数据进行的一些处理。数据预处理包含数据清洗、数据集成、数据转换、数据归约等方法。这些数据处理技术在数据挖掘和数据分析之前使用，大大提高了数据挖掘模型的质量，减少了实际挖掘和分析所需要的时间。从数据准备到数据分析会经过一系列的过程，如图3-1所示。图3-1数据准备至数据分析过程图数据转换数据预处理数据集成数据准备数据清洗数据挖癌数据分析器化(二)常见的数据预处理工具(1)专业图形化工具：比如PentahoDataIntegration-Kettle,IBMDataStage,Informatica等。PentahoDataIntegration-Kettle:PDI(PentahoDataIntegration,或者Kettle)是一款开源的ETL工具，可以用它来对数据进行抽取、清洗和转换操作，从而获得我们想要的数据。IBMDataStage:一种数据集成软件平台，能够帮助企业从散布在各个系统中的复杂异构信息中获得更多价值。InfoSphereInformationServer提供了一个统一的平台。Informatica:Informatica平台是一套完善的技术，可支持多项复杂的企业级数据集成计划，包括：企业数据集成、大数据管理、数据质量、数据治理、主数据管理、数据安全和云数据集成等。(2)专业非图形化工具：Python、SQL、R。(3)简单图形化工具：TableauPrep、Alteryx、RightData、OpenRefine(前身为Googlerefine)、DataWrangler、TrifactaWrangler。TrifactaWrangler和Excel、OpenRefine不同，是一种对多种数据类型进行清洗的半自动化工具，数据类型包括文本和数值数据、二进制数据等。二、数据清洗的基本概念及操作遵循数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性、处理无效值和缺失值等。数据清洗(DataCleaning)是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，如图3-2所示。图3-2数据清洗数据质量结果、目标、管理数据清洗手段、方法、过程数据清洗从名字上也看得出来就是把“脏”的“洗掉”,指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性、处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据，有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”,这就是数据清洗。清洗与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成的。(一)数据清洗的重要性数据清洗占了数据分析师80%的工作时间。脏数据是怎么来的原因是多种多样的，最根本的原因就是数据的来源多样，使得数据的标准、格式、统计方法不一样。其次就是录入和计算数据的代码有错误，这也都是不可避免的。例如：录入错误、数据源多样性、不同人员录入、技术原因瑕疵、来源数据标准不一致、计算代码错误等。(二)数据清洗的常见问题与处理顺序数据清洗的常见问题与处理顺序如图3-3所示。l格式内容处理逻辑错误处理缺失值填补数据接入观测剔除无用数据关联性验证123456①数据接入①确定缺失信①日期、数值等④去重①备份数据①表联接②数据源关联范围格式不一致②去除不合理②删除无用字段②查验数据一③元数据整理②不该存在的字数据抽样观测②缺失值填补符值致性归纳数据问题③重新取数③该字段应有内③修正矛盾内容不符容(三)数据清洗设计IPO模型数据清洗不是一次性工作，需要多次、多环节进行。因此，要做好数据清洗、保证数据质量，那么首先需要对整个数据处理的流程进行设计或了解，在了解了数据流程后再在相应的环节设计数据清洗的流程，如图3-4所示。InputOutputIPO模型信息系统论的重要模型，软件开发和娄数据处理基本都遵展此模型