闪存数据库日志技术.pptx

闪存数据库日志技术2011-04-22大纲闪存的基本结构及特性研究动机及相关工作基于地址的日志技术——HV-Logging基于链表的日志技术——LB-Logging总结闪存的优越性及广泛应用小巧轻便能量消耗小闪存高抗震性读写速度快非易失性无机械延迟闪存的基本结构闪存芯片组成 1 芯片 = 若干块1 块 = 64 页 闪存特性读写速度不一致重写之前先擦除没有机械延迟有限擦除次数2K Bytes64 Bytes页寄存器闪存特性闪存的随机访问与连续访问的速度差异介质随机/连续访问速度读操作写操作磁盘4.3-12.34.5-10.0闪存1.1-1.22.4-14.2闪存特性闪存中的读写速度不对称介质读操作写操作擦除操作磁盘12.7ms(2KB)13.7ms(2KB)N/A闪存80μs(2KB)200μs(2KB)1.5ms(128KB)闪存特性在闪存中，重写之前必须先擦除闪存中常采取异地更新的方式来避免频繁的擦除操作DiskFlash异地更新大纲闪存的基本结构及特性研究动机及相关工作基于地址的日志技术——HV-Logging基于链表的日志技术——LB-Logging总结闪存数据库面临的挑战数据文件日志文件闪存磁盘索引文件元数据文件闪存数据库传统数据库研究动机 将Undo日志直接应用在闪存数据库中存在的问题Undo日志（T1，start）（T1，B，v’）（T2，start）A.v1HV-recovery：A High Efficient Recovery Technique for Flash-based Database 研究动机 将Undo日志直接应用在闪存数据库中存在的问题Undo日志（T1，start）（T1，B，v’）（T2，start）（T1，A，v1）A.v1A.v2HV-recovery：A High Efficient Recovery Technique for Flash-based Database 研究动机 将Undo日志直接应用在闪存数据库中存在的问题Undo日志（T1，start）（T1，B，v’）（T2，start）（T1，A，v1）（T1，rollback）A.v1A.v2A.v1HV-recovery：A High Efficient Recovery Technique for Flash-based Database 相关工作—IPL in-memorydata page(8KB)数据库缓冲区in-memorylog sector (512B)Erase unit (Block): 128KB闪存15 data pages (8KB each)……log area (8KB): 16 sectors……….….….S. W. Lee, and B. Moon.?Design of Flash-Based DBMS: An InLogging Approach.?SIGMOD 2007相关工作—FlashLogging……WorkerWorkerWorkerRequest queue日志缓冲区LSN：Log Sequence NumberShimin Chen. FlashLogging: Exploiting Flash Devices for Synchronous Logging Performance. SIGMOD09.闪存数据库中日志设计思路 读速度比写速度快 考虑用较多的读操作来减少写操作 读写速度不一致将日志文件由顺序结构转变成链表结构 随机和连续访问速度相似 可以用随机读来代替连续读无机械延迟对数据的历史版本地址记日志闪存要求重写之前擦除利用天然存在的历史版本的数据异地更新 闪存寿命有限，不可无限制的擦除 尽量减少写操作，间接减少擦除 擦除次数有限大纲闪存的基本结构及特性研究动机及相关工作基于地址的日志技术——HV-Logging基于链表的日志技术——LB-Logging总结HV-Logging的主要思想日志文件记录版本地址信息而取代值信息Transaction_IdElementAddressListT1BeginNULLT1XP(X’)T2AP(A’)T1DNULLT1BP(B’)T1BDeleteT2YP(Y’)T1XP(X’’)T1RollbackNULL……… 随着事务不断地对数据库进行操作，日志管理器按顺序不断加入新的日志记录；如果一个事务的提交日志写入日志文件中，则会对该事务的所有旧版本数据标识为垃圾数据，等待FTL层的回收；恢复时，恢复管理器从日志文件的尾部向头部扫描，并且逐一按照数据历史版本的地址进行恢复HV-recovery：A High Efficient Recovery Technique for Flash-based Database 闪存擦除次数有