DNA序列的k-mer_index问题数模论文.doc

数学建模竞赛 参 赛 论 文 论 文 选 题 ：B 题 DNA 序列的k-mer index问题 摘要 本小组在查阅了相关文献资料后，基于“数据结构”中的“哈希算法[2][6]”、“倒排索引[1][2]”法及“BKDRHash算法[2]”，建立相应的数学模型，给出分析和结果，对DNA 序列的k-mer index 问题给出解决方案。 本模型对不同k值采用不同算法建立索引。当k值较小时，利用基因序列其碱基种类较少（仅A,T,G,C四种）的特点，根据哈希算法进制转换的思想，可将k-mer 看成一个四进制的序列数，将其转化为十进制数作为哈希表的关键字[2]，并采用倒排索引的方法对哈希表关键字分类整理，建立相应的地址存储单元，实现索引；当k值较大时，考虑到内存溢出[6]的问题，采用“BKDRHash算法”对k-mer进行十进制转化，并结合“倒排索引[2]”法建立索引，从而对给定的 k-mer片段进行精确查找，最终输出碱基片段所在位置。 此方案将“哈希(Hash)算法”、“BKDRHash算法”和“倒排索引法”相结合，对哈希算法结构进行优化，提升了运算效率，操作简洁、高效。实现了在基因数据库[3][4]中对给定的碱基片段的位置进行查找的目的。 关键词：倒排索引，哈希(Hash)算法，BKDRHash算法，碱基序列，基因数据库。 一．问题重述 DNA序列的k-mer index 问题 给定一个DNA序列，这个系列只含有4个字母ATCG，如 S =“CTGTACTGTAT”。给定一个整数值k，从S的第一个位置开始，取一连续k个字母的短串，称之为k-mer（如k= 5，则此短串为CTGTA）， 然后从S的第二个位置， 取另一k-mer（如k= 5，则此短串为TGTAC），这样直至S的末端，就得一个集合，包含全部k-mer 。 如对序列S来说， 所有5-mer为｛CTGTA，TGTAC，GTACT，TACTG，ACTGT，TGTAT｝通常这些k-mer需一种数据索引方法，可被后面的操作快速访问。例如，对5-mer来说，当查询CTGTA，通过这种数据索引方法，可返回其在DNA序列S中的位置为｛1，6｝。 问题 现在以文件形式给定 100万个 DNA序列，序列编号为1-1000000，每个基因序列长度为100 。 （1）要求对给定k， 给出并实现一种数据索引方法，可返回任意一个k-mer所在的DNA序列编号和相应序列中出现的位置。每次建立索引，只需支持一个k值即可，不需要支持全部k值。 （2）要求索引一旦建立，查询速度尽量快，所用内存尽量小。 （3）给出建立索引所用的计算复杂度，和空间复杂度分析。 （4）给出使用索引查询的计算复杂度，和空间复杂度分析。 （5）假设内存限制为8G，分析所设计索引方法所能支持的最大k值和相应数据查询效率。 （6）按重要性由高到低排列，将依据以下几点，来评价索引方法性能 索引查询速度 索引内存使用 8G内存下，所能支持的k值范围 建立索引时间 二.符号说明及假设 符号说明 sumFile: 把记录分成sumFile个文件存放 sumK-mer1: K-mer的总个数 sumK-mer2: K-mer可能出现的不重复的个数 maxY: 每个文件的最大行数 maxX： 平均每行字符数 fileName:文件名 fileNumber;文件编号,范围是0 - sumFile-1 hashKey1:将K_mer转化后的哈希关键字，是一个十进制整数 position:记录K-mer所在的DNA序列及在每个序列中的位置 HZJS:文件里平均每行的字符数 ：表示连接，如A B即表示AB 2.假设 在题目给出的数据中，利用BKDRHash算法转化后不会出现相同的哈希值 三．问题分析 题目所给文件中有 100 万行的碱基序列，其中每行序列的长度为 100，给定一个固定的 k 值，则每行序列有（ 100-k+1）个k-mer，K-mer总数有1000000*(100-k+1)个。数据量级达到百万至千万，十分庞大，故考虑采用建立哈希表的方法实现索引。 碱基序列由A、T、C、G四种碱基无序组合，当给定K值后，理论有 种k-mer。比较1000000*（100-k+1）（实际值）和（理论值）的大小： 当K小于等于13时， 1000000*（100-k+1），即K_mer值会出现重复，K越接近1，重复的越多； 当K大于13时， 理论上不会出现重复值。 四．模型建立与算法分析 3.1模型建立 3.1.1 当时，即，则实际上出现的k-mer的个数多于理论上可能出现的k-mer的个数，即K-mer有重复。此时k较小，以“哈希算法”和“倒 排索引”相结合的方法建立索引。 因为k-