了解大数据存储应用与发展.pptx

知识点：大数据存储应用 一、大数据存储应用 HBase使用的是列存储，MongoDB使用的是行存储，对于行存储和列存储各有各的优缺点，对于大数据而言，进行快速的数据处理，列存储是必须的，但是就列存储而言，对于数据的完整性和对硬件的要求较高，然而，行存储的数据冗余是大数据处理的弊端，不优化，无法适应快速数据处理的要求。 二、Hadoop和MongoDB的对比 Hadoop强于分布式存储及运算，分布式存储及运算，分布式存储及运算，主要用来处理非结构化数据，半结构化数据，是GOOGLE分布计算架构的克隆版，列存储，编程语言JAVA，加速代码用C，JNI调用。 二、Hadoop和MongoDB的对比 MongoDB是一个数据库，仅是单机多核运算，个较为简单NOSQL，是分布数据库，存储格式JSON变体，行存储，自己解释数据，编程语言C++ 相同之处：都可以使用Map-Reduce 三、大数据存储应用：行存储和列存储 Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lexst是二进制型的行存储 行存储数据排列 1.结构布局 列存储数据排列 四、大数据存储应用：行存储和列存储对比 采用行存储时，设计中应考虑减少或避免冗余列；若采用列存储方案，为保证读写入效率，每列数据尽可能分别保存到不同的磁盘上，多个线程并行读写各自的数据，这样避免了磁盘竞用的同时也提高了处理效率。 五、大数据存储应用：行存储和列存储对比 谢谢