词法分析包括

Question

如题所述

Answer 1

词法分析包括：分词技术、和词性标注、命名实体识别三部分。

词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为单词（Token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（Lexical analyzer，简称Lexer），也叫扫描器（Scanner）。

词法分析器一般以函数的形式存在，供语法分析器调用。完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。

从左至右地对源程序进行扫描，按照语言的词法规则识别各类单词，并产生相应单词的属性字。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词。

词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。词法分析是编译程序的第一个阶段且是必要阶段；词法分析的核心任务是扫描、识别单词且对识别出的单词给出定性、定长的处理；实现词法分析程序的常用途径；自动生成，手工生成。

词法分析程序：

1、只要不修改接口，则词法分析器所作的修改不会影响整个编译器，且词法分析器易于维护。

2、整个编译器结构简捷、清晰。

3、可以采用有效的方法和工具进行处理。