99-青海大学大数据中心建设分享.pptx

青海大学大数据中心建设技术方案分享学校现状与遇到的问题分析12具体的解决办法和思路CONTENT目录3整体解决方案和产品功能介绍青海大学现状分析和主要问题学校数据接入不全。1、日志类数据；2、视频类数据；3、MQ消息类数据；4、API接口类数据；5、水电暖、以及其他环境感知IOT设备等。青海大数据已建设的数据仓库系统（离线数仓），不是全域数据的接入。以上每天产生大量的数据，这些数据种类丰富、数量大，具有高度的可分析和应用价值。目前的学校数据接入已无法满足全量数据的接入需求。学校无有效数据治理和分析。1、学校亟需对各类原始数据进行场景化、定制化需求做数据分析2、学校已构建数据仓库系统（离线数仓），满足不了实时数据分析的需求3、学校没有以学生和老师为核心的主题库，也就不能很好的支持一站式大厅、一表通、师生个人数据中心等应用学校数据中心与业务强耦合1、学校目前的数据中心不是中立的、第三方的数据平台2、数据能力无法对不同厂家应用开发3、无法高度定制化服务各类学校的数据需求场景学校现状与遇到的问题分析12具体的解决办法和思路CONTENT目录3整体解决方案和产品功能介绍数据接入--关系型数据库（原大数据平台）学校大数据中心/全域数据中心学业预警离校预警贫困资助教研辅助......专题分析库教师库学生库学校财务库学校资产库基础库学工教务财务一卡通......资源库融合数据集成工具实时实时离线离线数据归集教务学工一卡通图书馆原数据中心（离线数仓）学校已建待建业务系统数据归集科研门禁人事......数据接入--MQ消息和API问题：当前越来越多的业务系统，以MQ消息或者API接口的方式对外共享数据获取的方式，需要获取token、鉴权、确认等操作，传统的数据接入工具无法满足类型一：MQ消息比如某学校的校内一卡通，依托于支付宝在线付费和缴费，数据信息为MQ消息队列，获取一条推送一条。类型二：自定义API接口厂家业务系统不直接提供数据库（比如财务），对外发布API接口，根据不同接口请求获取不同数据，学校数据中心一方面需要调用接口，另外一方面需要对数据进行落盘。数据接入--MQ消息和API（数据落盘）MQ或API数据落盘的任务流，如下：1、获取接口授权信息（token）2、查询数据量3、获取数据（xml、json、html、txt、cvs、excle等）4、数据转发或写入大数据平台数据接入--视频数据（前置条件）摄像头分辨率1080p（最低720p）码率（2Mbps以上）帧率25fps点位基础信息以及经纬度信息，视频实时播放接口(RTMP/HLS)、历史下载播放接口视频推流协议采用GB28181国标网络要求支持500路分析需要1000M网络平台组件DSC（使用Kafka提供了一个数据队列功能）大数据平台（数据存储）虚拟机（基于学校云平台）接流、计算（视频接流工具）OSS数据接入--视频数据（视频结构化分析）大数据平台缓存推流学校厂商视频平台结构化接流服务DSC（kafka）视频应用BLINK计算GB2818关系型数据库归档引擎分项视频结构化引擎视频资源动态调度机非人实时结构化极速离线视频处理视频搜索引擎目标再识别、以图搜图关注人员管控EMR大数据平台数据接入--视频数据（视频资源动态调度管理）——视频点位管理视频点位资源管理，包括点位信息增删改查、标签自定义等点位动态调度系统涉及接入的全部视频点位，可根据实战情况动态调整视频分析的计算资源。实现对指定区域的视频进行结构化，同时支持指定区域内的历史数据，进行结构化分析，共享分析资源。数据分析--场景化数据分析（MQ消息接口）一卡通实时消费分析大额刷卡预警（按时间、清单逆序）25元交易时间实收金额门店名称消费者名字学号密集刷卡预警（按时间、按学号、清单逆序）1分钟内刷卡3次交易时间实收金额门店名称消费者名字学号疑似饭卡丢失（按时间、按学号、清单逆序）非节假日连续一周无消费最后一次交易时间实收金额门店名称消费者名字学号疑似贫困生消费（按月消费金额、按学号、清单逆序）连续1个月每天都消费，且总金额15元月消费金额月均消费金额消费者名字学号数据资源一卡通食堂消费明细、商店消费明细模型逻辑获取学校各食堂、窗口消费明细，与餐饮分类做对应统计，实时计算出按时段、按窗口、按人流量、按餐饮种类、按消费金额、按饮食结构等方面的分类和模型分析实现功能根据逻辑分析内容，提取出师生饮食不规律、营养不均衡、缺餐少食、暴饮暴食的相关人员的预警标记，以短信或微信的方式发送校内关怀提醒人脸图搜用户上传一张人脸图片，可从视频流中查找到相似图片通过相似图片比对，从视频流结构化输出的人脸图片中匹配相似图片，将命中结果返回人脸目标及属性识别从视频流中实时结构化输出人脸目标图片对人脸特征和位置进行智能检测，识别输出人