checkpoint使用及源码讲解spark的1.pdfVIP

Spark 的checkpoint 源码讲解 Checkpoint 相关源码分四个步部分 1，Checkpoint 的基本使用:core 和Streaming。 2，初始化的源码。 3，Checkpoint 的job 生成及执行的过程。 4，读Checkpoint 的过程。 一，Checkpoint 的基本使用 Checkpoint 可以还原 。辅助Spark 应用从故障中恢复。SparkStreaming 宕机恢复， 适合调度器有自动重试功能的。对于SparkCore 则适合那些计算链条超级长或者计算耗时的 关键点进行Checkpoint，便于故障恢复。 Checkpoint 和persist 从根本上不一样： 1,Cacheorpersist Cacheorpersist 保存了RDD 的血统关系，假 部分cache 的数据丢失可以根据血缘关 系重新生成。 2,Checkpoint 会将RDD 数据写到hdfs 这种安全的文件系统里，并且抛弃了RDD 血缘关系的 。即 使persist 存储到了磁盘里面，在driver 停掉之后会被删除，而checkpoint 可以被下次启动使 用。 Checkpoint 基本使用 对于SparkStreaming 任务，请参考源码例子RecoverableNetworkWordCount 对SparkCore： DoCheckpoint val sc new SparkContext(confspark) sc.setCheckpointDir("/test/checkpoint") val textrdd=sc.textFile("/agent/test.txt") textrdd.checkpoint() val count textrdd.count() val file textrdd.getCheckpointFile println(file) Recover val count sc.checkpointFile("/test/checkpoint/7ce1511a-c25c-4ba7-9846-ee702e5c470d/rdd-1") .count() println(count) 二，Checkpoint 的初始化源码 1，设置Checkpoint 目录 sc.setCheckpointDir("checkpointDirectory") 2，调用Checkpoint 方法，构建checkpointData mapped.checkpoint() checkpointData Some(new ReliableRDDCheckpointData(this)) 三，DoCheckpoint 源码 在SparkContext 的runJob 方法中 rdd.doCheckpoint() 进入之后 if (checkpointData.isDefined) { checkpointData.get.checkpoint() } else { dependencies.foreach(_.rdd.doCheckpoint()) } RDDCheckpointData 中真正做Checkpoint 返回一个新的RDD 并清除掉依赖关系 val newRDD doCheckpoint() // Update our state and truncate the RDD lineage RDDCheckpointData.synchronized { cpRDD Some(newRDD) cpState Checkpointed rdd.markCheckpointed() } ReliableRDDCheckpointData 中真正进行Checkpoint 操作 val newRDD ReliableCheckpointRDD.writeRDDToCheckpointDirectory(rdd, cpDir) 在该方法中 1，获取sc val sc originalRDD.sparkContext 2，创建输出目录 val checkpointDirPath new Path(checkpointDir) val fs checkpointDirPath.getFileS