NoSQL培训HBase篇完整版.ppt

真情合作 激情创新 Page 63 ? HBase 常用操作 ? put 插入记录 HBase 基本操作 真情合作 激情创新 Page 64 ? HBase 常用操作 ? put 更新记录 HBase 基本操作 真情合作 激情创新 Page 65 ? HBase 常用操作 ? get 获取一个行键的所有记录 ? get 获取一个行键，一个列族的所有数据 HBase 基本操作 真情合作 激情创新 Page 66 ? get 获取一个行键，一个列族中一个列的所有数据 ? HBase 常用操作 HBase 基本操作 真情合作 激情创新 Page 67 ? get 通过 timestamp 来获取数据 ? HBase 常用操作 HBase 基本操作 真情合作 激情创新 Page 68 ? get 获取同一数据列最近 n 条数据（不同版本数据） ? HBase 常用操作 HBase 基本操作 真情合作 激情创新 Page 31 ? HBase 组件说明 HBase 基础知识 ? 存储格式 - HLog File HLog 文件就是一个普通的 Hadoop Sequence File ， Sequence File 的 Key 是 HLogKey 对象， HLogKey 中记录了写 入数据的归属信息，除了 table 和 region 名字外，同时还包括 sequence number 和 timestamp ， timestamp 是“写入时 间”， sequence number 的起始值为 0 ，或者是最近一次存入文件系统中 sequence number 。 HLog Sequece File 的 Value 是 HBase 的 KeyValue 对象，即对应 HFile 中的 KeyValue 。 真情合作 激情创新 Page 32 ? HBase 组件说明 HBase 基础知识 ? HLog ? 引入原因 在分布式系统环境中，无法避免系统出错或者宕机，一旦 HRegionServer 意外退出， MemStore 中的内存 数据就会丢失，引入 HLog 就是防止这种情况。 ? 工作机制： 每个 HRegionServer 中都会有一个 HLog 对象（注意：并不是每个 Region 维护一个 Hlog ）， HLog 是一个 实现 Write AheadLog 的类，每次用户操作写入 Memstore 的同时，也会写一份数据到 HLog 文件， HLog 文件 定期会滚动出新，并删除旧的文件 ( 已持久化到 StoreFile 中的数据 ) 。当 HRegionServer 意外终止后， HMaster 会通过 Zookeeper 感知， HMaster 首先处理遗留的 HLog 文件，将不同 region 的 log 数据拆分，分别放到相应 region 目录下，然后再将失效的 region 重新分配，领取到这些 region 的 HRegionServer 在 Load Region 的过 程中，会发现有历史 HLog 需要处理，因此会 Replay HLog 中的数据到 MemStore 中，然后 flush 到 StoreFiles ， 完成数据恢复。 真情合作 激情创新 Page 33 ? HBase 中特殊的表 HBase 基础知识 HBase 中有两张特殊的表【 -ROOT- 】 和【 .META. 】 ? .META. ：记录了用户表的 Region 信息， .META. 可以有多个 Regoin ? -ROOT- ：记录了 .META. 表的 Region 信息， -ROOT- 只有一个 Region ? Zookeeper 中记录了 -ROOT- 表的地址信息 真情合作 激情创新 Page 34 目录 NoSQL 简介 2 HBase 基础知识 3 HBase 安装与部署 4 HBase 基本操作 5 问题与讨论 6 NoSQL 系列课程介绍 1 附：其它知识补充 7 真情合作 激情创新 Page 35 ? 环境说明 ? HBase 版本支持矩阵 ? HBase 安装步骤 （分布模式） HBase 安装与部署 真情合作 激情创新 Page 36 ? 环境说明 ? 操作系统： Ubuntu 14.04.1 LTS (32 位 ) ? JDK 版本号 ： jdk 1.7.0_09 (32 位 ) ? ZooKeeper 版本号： 3.4.5 ? Hadoop 版本号： 2.2.0 ? HBase 版本号： 0.96.2 ? 服务器要求： 3 台服务器（主机： master ，从机： slave1 及 slave2 ） HBase 安装与部署 - 分布模式 真情合作 激情创新 Page 37