大数据的来源与价值.pptx

互联网与数据利用 授课人：韩冬梅2021/5/2801大数据概述02大数据分类（3种划分方式）03大数据的价值2021/5/28大数据概述——数据量 2022 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2022 年，相当于2022 年全球的数据总量。预计到2022 年，中国产生的数据总量将是2022年的10倍，超过8.5ZB。——DNET《数据中心2022：硬件重构与软件定义》年度技术报告2021/5/2801大数据概述02大数据分类（3种划分方式）03大数据的价值2021/5/28最里层：少量企业应用产生的数据大数据分类——按产生主体划分应用服务器日志传感器数据（天气、水、智能电网等）图像和视频（摄像头监控数据等）RFID、二维码或条形码扫描数据微博、微信电子商务在线交易日志数据呼叫中心评论、留言或者电话投诉等企业应用的相关评论数据关系型数据库中的数据数据仓库中的数据次外层：大量人产生的数据最外层：巨量机器产生的数据2021/5/28大数据分类——按数据来源划分 通过服务器和数据中心数量，以及各行业数据梳理，大致判断国内2022年一年产生的数据总量以及大致分布，数据主要分布在以下行业：1、BAT为代表的互联网公司。2、电信、金融、保险、电力、石化系统。3、公共安全、医疗、交通领域。4、气象、教育、地理、政务等。5、其他，商业销售、制造业、农业、物流和流通等领域。2021/5/28阿里巴巴腾讯大数据分类——按数据来源划分目前保存的数据量为近百PB拥有90%以上的电商数据交易数据、用户浏览和点击网页数据、购物数据2013数据总量接近一千个PB中文网页、百度推广、百度日志、UGC以70%以上的搜索市场份额坐拥庞大的搜索数据总存储数据量经压缩处理以后在100PB左右数据量月增10%大量社交、游戏等领域积累的文本、音频、视频和关系类数据添加标题BAT为代表的互联网公司百度2021/5/28电信行业电力与石化大数据分类——按数据来源划分用户上网记录、通话、信息、地理位置运营商拥有的数据数量都在10PB以上年度用户数据增长约数十PB开户信息数据，银行网点和在线交易数据、自身运营的数据金融系统每年产生数据达数十PB保险系统数据量也接近PB级别仅国家电网采集获得的数据总量就上10个PB级别石油化工、智能水表等领域每年产生和保存下来的数据量也达到数十PB级别。电信、金融、保险、电力、石化系统金融与保险2021/5/28公共安全交通大数据分类——按数据来源划分北京：50万个监控摄像头，每天采集视频数据量约3PB整个视频监控每年保存下来的数据在数百PB以上仅广州中山大学医院2013年数据量为1000个TB整个医疗卫生行业一年能够保存下来的数据就可达到数百PB航班往返一次能产生数据就达到TB级别列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。添加标题公共安全、医疗、交通领域医疗卫生2021/5/28气象与地理大数据分类——按数据来源划分中国气象局保存的数据约4~5PB，每年约增数百个TB各种地图和地理位置信息每年约数十PB北京市政务数据资源网涵盖旅游、教育、交通、医疗等门类，一年上线公布了４００余个数据包政务数据多为结构化数据气象、教育、地理、政务等领域政务与教育2021/5/289、 人的价值，在招收诱惑的一瞬间被决定。10、低头要有勇气，抬头要有低气。11、人总是珍惜为得到。12、人乱于心，不宽余请。13、生气是拿别人做错的事来惩罚自己。14、抱最大的希望，作最大的努力。15、一个人炫耀什么，说明他内心缺少什么。。16、业余生活要有意义，不要越轨。17、一个人即使已登上顶峰，也仍要自强不息。2021/5/289、 人的价值，在招收诱惑的一瞬间被决定。10、低头要有勇气，抬头要有低气。11、人总是珍惜为得到。12、人乱于心，不宽余请。13、生气是拿别人做错的事来惩罚自己。14、抱最大的希望，作最大的努力。15、一个人炫耀什么，说明他内心缺少什么。。16、业余生活要有意义，不要越轨。17、一个人即使已登上顶峰，也仍要自强不息。2021/5/28线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增行业数据量还处于积累期，整个体量都不算大，多则达到PB级别，少则百TB甚至数十TB级别。其他传统行业大数据分类——按数据来源划分商业销售、制造业、农业、物流和流通等领域制造业的存储数据类型：产品设计数据：以文件为主，非结构化，共享要求较高，保存时间较长。企业生产环节的业务数据：数据库结构化数据生产监控数据：数据量非常大制造业2021/5/28大数据分类——按存储形式划分 大数据不仅仅体现在数据量大，也体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛存在于社