“1+X”（初级）05-数据质量管理与数据清洗.pptx

数据质量管理与数据清洗

【-)阿里云

课程目标

学习完本课程后，你将能够：

1.掌握数据质量的定义、来源和评价维度

2.学会如何识别、评估和处理数据质量问题

3.能够根据项目和数据的具体情况，使用质量控制的流程保证项目结果的有效性

【-〕阿里云

课程目录

1.数据质量概述

1.1数据质量的定义

1.2数据质量问题的来源

1.3数据质量问题分类

1.4数据质量管理的必要性

2.数据质量管理标准

3.数据清洗技术

4.数据规约

5.数据变换

2【-〕阿里云

高质量

正确地反映了真实世界

达到了其在运营、决策和规划中的期望状态

期望状态

通常由个人或团体、标准组织、法律法规、业务要求或软件开发要求定义

3【-〕阿里云

数据质量的定义

数据期望状态

课程目录

1.数据质量概述

1.1数据质量的定义

1.2数据质量问题的来源

1.3数据质量问题分类

1.4数据质量管理的必要性

2.数据质量管理标准

3.数据清洗技术

4.数据规约

5.数据变换

4【-〕阿里云

数据质量问题的来源

·数据创建·数据传递

·数据装载·数据使用

技术问题

·数据库设计

·数据使用规范·人员培训

·质量管理机构·数据质量目标

·元数据描述及理解·数据质量管理标准·数据变化频率

5【-〕阿里云

管理问题质量问题

·使用流程·维护流程

·创建流程·传递流程

·装载流程

流程问题

信息问题

采集标准缺失，或标准执行不到位(技术：数据创

建、流程：创建流程)

■例如：注册信息表没有进行数据格式约束，

或填写时出现错拼、漏填等现象

源数据有问题但没有发现(技术：数据装载、流程：

装载流程)

■例如：爬取得到的网页数据，下载或购买得

到的数据集

软件、硬件、网络问题(技术：数据传递)

例如：传感器故障、网络延迟、灾害等

时间

公司名称

行业

轮次

金额

投资方

2019/3/11

儿童周末

教育

Pre-A轮

数百万人民币

北塔资本

2019/3/1

SOMBiotech

医疗健康

A轮

700万欧元

未透露

2019/3/11

Klaytn

企业服务

战略投资

9000万美元

未透露

2019/3/11

谊品生鲜

本地生活

B轮

未透露

腾讯

2019/3/11

常仁科技

企业服务

A轮

1亿人民币

未透露

BM

XB

NL

SG

SR

30001

女

36.

5'3"

30000

2987

男

27

175

20k

9527

49

5'4”

8000

101

女

16

5’7"

6【-〕阿里云

技术、流程问题

投融资数据

调查问卷表

SQL查询问题(技术：数据使用，流程：使用流

程)

■例如：Join时，没有发现笛卡尔积，聚合后

得到错误结果

处理手法有误(技术：数据装载)

■例如：没有使用合理的抽样方法，造成分析

结果偏差

SELECT

FROMt1GROUP

prod_id,prod_name,SUM(quantity)astotal_qaLEFTJOINt2bONa.prod_id=b.prod_id

BYprod_id,prod_name

sales_id

prodid

quantity

prod_name

100014

934

1

b1994

100015

935

9

b1995

100016

936

7

b1996

100017

937

2