编译技术课件-词法分析器的自动生成技术.pptxVIP

第三章:词法分析1 词法分析的功能2 词法分析程序的设计与实现－－状态图3 词法分析程序的自动生成－－有穷自动机第三章:词法分析3.1 词法分析的功能 －－识别单词，返回单词的类别和值3.2 词法分析程序的设计与实现－－状态图：有穷自动机的非形式表示－－－正则文法和状态图3.3 词法分析程序的自动生成－－正则表达式和有穷自动机八月十五日夜湓亭望月 ?白居易 昔年八月十五夜曲江池畔杏园边今年八月十五夜湓浦沙头水馆前西北望乡何处是东南见月几回圆昨风一吹无人会今夜清光似往年八月十五日夜湓亭望月 ?白居易昔年八月十五夜，曲江池畔杏园边。今年八月十五夜，湓浦沙头水馆前。西北望乡何处是，东南见月几回圆。昨风一吹无人会，今夜清光似往年。 八月十五日夜湓亭望月 ?白居易昔年八月十五夜，曲江池畔杏园边。今年八月十五夜，湓浦沙头水馆前。西北望乡何处是，东南见月几回圆。昨风一吹无人会，今夜清光似往年。 词法分析：断词，并给出词性（分类）语法分析：断句，并给出句的结构、分类程序int main( ) ‘\n’ { int count=read( ); ‘\n’ //if number of entries read is greater than 1 ‘\n’ //then sort( ) and compact( ) ‘\n’ if (count 1) { sort( ); compact( ); } ‘\n’ if (count ==0) ‘\n’ count “no sales for this month\n”; ‘\n’ else write( ); ‘\n’ return; ‘\n’ }程序int main( ){ int count=read( ); //if number of entries read is greater than 1 //then sort( ) and compact( ) if (count 1) { sort( ); compact( ); } if (count ==0) count “no sales for this month\n”; else write( ); return;}内 容3.1 词法分析程序的功能及实现方案3.2 单词的种类及词法分析程序的输出形式3.3 正则文法和状态图3.4 词法分析程序的设计与实现3.5 正则表达式与有穷自动机3.6 词法分析程序的自动生成器3.1 词法分析程序的功能及实现方案 词法分析程序的功能词法分析：根据词法规则识别及组合单词，进行词法检查。对数字常数完成数字字符串到二进制数值的转换。删去空格字符和注释。取单词词法分析程序语法分析程序S.P.(字符串)单词实现方案：基本上有两种1.词法分析单独作为一遍单词串第二遍第一遍S.P.(字符串)词法分析S.P.(符号串)语法分析优点: 结构清晰、 各遍功能单一缺点：效率低2.词法分析程序作为单独的子程序优点: 效率高3.2 单词的种类及词法分析程序的输出形式单词的种类 1. 保留字：begin、end、for、do...2. 标识符：由用户定义，表示各种名字的字符串3. 常 数：无符号数、布尔常数、字符串常数等4. 分界符：+、-、*、/、...单词类别 单词值表示单词的种类，可用整数编码或记忆符表示词法分析程序的输出形式-----单词的内部形式不同的单词不同的值整型58保留字“for”几种常用的单词内部形式：1、按单词种类分类2、保留字和分界符采用一符一类3、标识符和常数的单词值又为指示字（指针值）类别编码 单词值1、按单词种类分类单词名称标识符无符号常数(整)无符号浮点数布尔常数字符串常数保留字分界符单词值内部字符串整数值数值0 或 1内部字符串保留字或内部编码分界符或内部编码类别编保留字和分界符采用一符一类类别编码123456789……….单词值内部字符串整数值数值0 或 1内部字符串----…..------单词名称标识符无符号常数(整)无符号浮点数布尔常数字符串常数BEGINENDFORDO………:+*,(内 容3.1 词法分析程序的功能及实现方案3.2 单词的种类及词法分析程序的输出形式3.3 正则文法和状态图3.4 词法分析程序的设计与实现3.5 正则表达式与有穷自动机3.6 词法分析程序的自动生成器3.3 正则文法和状态图 状态图的画法（根据文法画出状态图）例如：正则文法 Z::= U0 |V1 U ::=Z1 |1 V ::=Z0 | 0左线性文法。该文法所定义的语言为： L(G[Z]) = { Bn | n0 }, 其中 B= {01,10}T3. 若Q::=T, Q ∈Vn,T ∈Vt, 则：QST4.