Hypertable：Big Table的高性能实现.pdfVIP

CloudComputing云计算 【Database数据库 Hypertable：BigTable的高性能实现 文 ／郑付联 Hypertable和HBase均为BigTable的开源实现，本文从随机读吞吐、随机读延迟、随机写、顺序读、Scan 五个方面对它们进行了对比测试。 Hypertable是一个开源 、高性能、可伸缩 构根据 内存阈值或周期性地Spill~1]磁盘。当这 的数据库，它采用与Google的BigTable相似的模 些Spill磁盘文件的数量超过阈值时，它tf]Merge 型。在过去数年中，Google为在Pc集群上运行的 到一起产生更大的文件 。Hypertable系统的性 可伸缩计算基础设施设计建造了三个关键部分。 能很大程度上取决于可用内存量。可用内存的 第一个关键基础设施是GoogleFileSystem 减少会导致更多的Spill和Merge操作发生，从而 (GFS)，这是一个高可用的文件系统，提供了 加重了网络和底层DFS系统的压力。同样的，额 全局的命名空间。它通过跨机器的文件数据复制 外的Heap-Merge操作也会增加系统CPU负载。 来达到高可用性，并因此免受传统文件存储系统 对于内存需求大的应用来说，Java并不是一个 无法避免的许多失败的影响，比如电源、内存和 好的选择 ，尤其是管理较大的内存Map或Key／ 网络端口等。HDFS是GFS的～个开源实现，实现 Value对时，Java的内存性能比c++差2～3倍。 了GFS论文中提到的大部分功能。 -CPU密集型 第二个基础设施是名为MapReduce的计算 Hypertable是CPU密集型的应用，这体现在 框架，它与GFS紧密协作，帮助处理收集到的 几个方面。 海量数据 。Hadoop是开源的MapReduce计算 首先是内存 中记录Key／Value对的Map结 框架。 构 。转化和管理这些Map消耗大量cPu资源； 第三个基础设施是BigTable，它是传统数 此外假设Java管理这些Map使用 了额外的 内 据库的替代者。BigTable让用户可以通过一些 存 ，处理器的Cache也会因此变得更加低效。 主键来组织海量数据 ，并实现高效的查询。 Hypertable是CPU密集型应用的另一个影响 Hypertable是BigTable的一个开源实现 ，并进行 因素是压缩。所有插．A．Hypertable的数据将至少 了一些改进。类似的，HBase是BigTable的另一 被压缩两次，平均压缩三次：一次是写数据到 个开源实现，与Hypertab1e相 比，它主要是通过 CommitLog，一次是在MinorCompaction期间， Javai~,言开发的，一些设计理念也有所不同。 还有一次是每次Merge和Majorcompaction时。 解压缩的数据量则是依赖查询负载的量。Native 系统设计 Java实现的zlib压缩可以和c++实现相比较 ，但