Chapter3-厦门大学-林子雨-Flink编程基础Scala版-第3章-Flink的设计与运行原理（2021年3月版本）.pdf

《Flink编程基础（Scala版）》 教材官网：/post/flink/ 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 第3章 Flink的设计与运行原理 （PPT版本号：2021年3月版本） 林子雨 厦门大学计算机科学系 扫一扫访问教材官网 E-mail: ziyulin@ 主页：/linziyu 《Flink编程基础（Scala厦门大学计算机科学系版）》 厦门大学计算机科学系 林子雨 2021版ziyulin@ 提纲 3.1 Flink简介 3.2 为什么选择Flink 3.3 Flink应用场景 3.4 Flink中的统一数据处理 3.5 Flink技术栈 3.6 Flink工作原理 3.7 Flink编程模型 3.8 Flink应用程序结构 3.9 Flink中的数据一致性 百度搜索厦门大学数据库实验室网站访问平台 《Flink编程基础（Scala版）》 厦门大学计算机科学系 林子雨 ziyulin@ 3.1.Flink简介 •Flink是Apache软件基金会的一个顶级项目，是为分布式、高性能、 随时可用以及准确的流处理应用程序打造的开源流处理框架，并且 可以同时支持实时计算和批量计算。 •Flink起源于Stratosphere 项目，该项目是在2010年到2014年间由 柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合开展的。 •2014年4月，Stratosphere代码被贡献给Apache软件基金会，成为 Apache软件基金会孵化器项目。 《Flink编程基础（Scala版）》 厦门大学计算机科学系 林子雨 ziyulin@ 3.1.Flink简介 •2014年12月，Flink项目成为Apache软件基金会顶级项目。目前，Flink是 Apache软件基金会的5个最大的大数据项目之一，在全球范围内拥有350 多位开发人员，并在越来越多的企业中得到了应用。 •在国外，优步、网飞、微软和亚马逊等已经开始使用Flink。 •在国内，包括阿里巴巴、美团、滴滴等在内的知名互联网企业，都已经开 始大规模使用Flink作为企业的分布式大数据处理引擎。 •在阿里巴巴，基于Flink搭建的平台于2016年正式上线，并从阿里巴巴的 搜索和推荐这两大场景开始实现。目前，阿里巴巴所有的业务，包括阿里 巴巴所有子公司都采用了基于Flink搭建的实时计算平台，服务器规模已经 达到数万台，这种规模等级在全球范围内也是屈指可数。 •阿里巴巴的Flink平台内部积累起来的状态数据，已经达到PB级别规模， 每天在平台上处理的数据量已经超过万亿条，在峰值期间可以承担每秒超 过4.72亿次的访问，最典型的应用场景是阿里巴巴“双11”大屏。 《Flink编程基础（Scala版）》 厦门大学计算机科学系 林子雨 ziyulin@ 3.1.Flink简介 •Flink具有十分强大的功能，可以支持不同类型的应用程序。Flink的 主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精 确一次的状态一致性保障等。 •Flink 不仅可以运行在包括YARN 、Mesos、Kubernetes等在内的多 种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选 项的情况下，它不存在单点失效问题。 •事实证明，Flink 已经可以扩展到数千核心，其状态可以达到TB 级 别，且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的 流处理应用都运行在Flink 之上。 《Flink编程基础（Scala版）》 厦门大学计算机科学系 林子雨 ziyulin@ 3.2 为什么选择Flink 3.2.1 传统