1.1 Token 定义

1 词法规则

词法分析按照规定的规则，可以从字符流中获取数据。

规则定义为以下几类：

• 标识符：由字母、数字、下划线( _ )构成，但是不得由数字为起始；其中存在特殊的字符串为关键字。
• 普通数字字面量：由数字和’.‘组成，其中分为整数、浮点数；
• 2进制数字字面量：由 ‘0B’起始，多个 ‘0’或'1’构成。
• 16进制数字字面量：由 ‘0X’起始，多个 十六进制字符 构成。
• 字符字面量：由 ‘‘‘起始和结尾，中间为可打印的字符。

2 Token 分类

3 位置信息

3 Token 定义