大规模分布式计算.pdfVIP

大规模分布式计算

变化正在进行…

Agenda

分布式计算

为什么使用分布式？

•需求：大规模数据

分布式计算

为什么使用分布式？

•需求：成本？

分布式计算

Abriefhistory

•并行化的尝试

–在硬件工艺/技术不变的前提下，提升计算能力

–更强大的硬件

•对称多处理器SMP

•分布式共享内存DSM

–分布式系统

•Sharedisk

•Sharenothing

分布式计算

新需求

•互联网应用的特殊性

–I/O操作强于计算操作

–复杂异构的机器环境

–变化的业务逻辑

分布式计算

MapReduce

•MapReduce

–分布式编程模型

–互联网应用的大规模数据计算解决方案

分布式计算

WhyMapReducewins?

•MapReduce的优势

–简单一致性模型

–本地I/O优化

–扩展性

MapReduce编程模型

MapReducemethodology

•MapReduce

–<key,value>数据结构

•map(in_key,in_value)->list(out_key,

intermediate_value)

•reduce(out_key,list(intermediate_value))->

list(out_value)

–分布式算法的核心内容

MapReduce编程模型

Asystematicview

•系统视图

–系统考量

•容灾

•扩展性

•并行能力

•…

–Master-slave结构

MapReduce编程模型

Asystematicview

•系统视图

–计算消耗

•网络I/O

•磁盘I/O

•排

•Map/Reduce计算

MapReduce编程模型

Asystematicview

•系统视图