1.1 Token 定义

1 词法规则

词法分析按照规定的规则，可以从字符流中获取数据。

规则定义为以下几类：

• 标识符：由字母、数字、下划线( _ )构成，但是不得由数字为起始；其中存在特殊的字符串为关键字。
• 普通数字字面量：由数字和’.‘组成，其中分为整数、浮点数；
• 2进制数字字面量：由 ‘0B’起始，多个 ‘0’或'1’构成。
• 16进制数字字面量：由 ‘0X’起始，多个 十六进制字符 构成。
• 字符字面量：由 ‘‘‘起始和结尾，中间为可打印的字符。

2 Token 分类

3 位置信息

3 Token 定义

1.2 Lexer 实现

待续

1.3 工程文件解析

待续

2.1 类型系统设计与实现

待续

2.2 抽象语法树设计与实现

待续

2.3 代码文件文件管理

待续

2.4 顶层语法解析实现

待续

2.5 解析表达式

待续

2.6 解析声明

待续

2.7 解析声明续

待续

7.1 基于栈的指令集

基于栈的指令集参考Java的指令集。

7.2 基于寄存器的指令集

Dalvik 字节码指令集的字节码指令集不支持无符号整数运算，因此参照 Dalvik 设计了以下指令集。

基于纯寄存器的指令集，指令系统存在下列的要求：

• 每条指令按照 16 bit 对齐。
• 寄存器的索引位宽有 4 bit、8 bit、16 bit。
• 最多支持 65536 个寄存器。
• 每个寄存器 32 bit。
• 64 bit寄存器由相邻的两个 32 bit 寄存器组合而成。
• 指令操作码位宽为 8 bit。
• 指令中可有子操作码，具体位宽看具体的指令格式。
• 32 bit 寄存器内可以存储 32 bit的整数、浮点数。
• 64 bit 寄存器内可以存储 64 bit的整数、浮点数。
• 位宽小于 32 位的值，需要进行扩展（零扩展、符号扩展）到 32 bit。
• 助记符中的 I 表示寄存器索引，后面的数字表示索引位宽

指令格式

总体格式：

操作码 + [ 操作子码 ] + ( 操作数 )*

• 操作子码可选。
• 操作数可以有多个。

寄存器位宽索引支持的寄存器数量：

空指令

文本格式： nop

常量赋值指令

文本格式： op des, imm

文本格式：op.sub des,imm

操作子码定义

寄存器赋值指令

文本格式：op des,src

文本格式：op des,src

文本格式：op.sub des,src

操作子码定义

助记符含义：

• 目标位宽-源数据获取转换位宽

  • i:符号扩展。
  • u:零扩展。
  • 只有目标位宽时，表示源位宽直接拷贝传递。

• 目标类型-源类型

  • 表示从源类型转换到目标类型

数学运算指令

• 有二地址、三地址分类。
• 每类的主操作码不一致。

三地址操作

三地址文本格式： op.sub des,src,src2

子码定义

二地址操作

二地址文本格式： op.sub des,src

子码定义

跳转指令

直接跳转指令

文本格式： goto imm

分支跳转指令

文本格式

jbr src,src2,imm
jbr src,imm

• 类型编码：标识操作数的类型。
• 操作子码：标识比较方法。
• 和 0 比较时，无源操作数 src2。

操作子码

注意： 和 0 比较时，无源操作数 src2。

类型码

返回指令

文本格式： op src op imm

操作子码

立即数码

函数调用指令

不固定参数调用

文本格式：op argcnt, arg,arg2,…,func

范围参数调用

文本格式：op argcnt,start, end,func

获取返回值指令

文本格式：op des

异常处理指令

文本格式：op des

7.3 基于栈和寄存器的指令集

本章节描述的是作者按照 RISC 指令系统设计的虚拟机指令集。

其类似与硬件指令集，可作为编译器后端指令系统目标，用于提供类似硬件指令系统环境，避免编译原理初学者陷入对硬件指令系统不了解的深渊。 降低学习难度，提高学习效率。

这类指令的主要特点如下：

• 1 寄存器的数量固定；
• 2 指令所操作的寄存器数量固定；
• 3 指令的含义简单；

1 寄存器

虚拟机的寄存器分为三种：

• 1 整数寄存器：主要用于整数运算，位宽为 64 bit，根据指令的含义可选择 32 bit 和 64 bit 运算模式。
• 2 浮点寄存器：主要用于浮点数运算，位宽为 64 bit，和通用寄存器一致，可选择位宽模式。
• 3 系统寄存器：对用户不可见，与虚拟机运行系统相关，对其进行操作隐藏在相关指令的实现细节中。
• 4 根据指令格式，整数寄存器、浮点寄存器最多可以有32个。

2 指令格式

每条指令是 32bit 大小对齐的，其中最低 9bit 是操作码，其余23bit作为操作数或者操作码的补充。如下表所示：

2.1 格式1

2.2 格式2

多数指令使用此格式。

2.3 格式3

该格式主要用于比较指令后的三元选择赋值操作。

2.4 格式4

当指令中需要使用立即数时，且在指令中没有足够的空间可以存储时，可以使用指令后跟32bit对齐的立即数操作数。

• 32bit立即数：32bit 指令跟 1 个 32bit 立即数，虚拟机解析执行时，按照指令表达的语义参与运算。
• 64bit立即数：32bit 指令跟 2 个 32bit 立即数，虚拟机解析执行时，按照指令表达的语义，组合成 64bit，后参与运算。
• 其他位宽的立即数类似。

格式如下所示：

3 寄存器与寄存器—指令集

3.1 空指令

空指令一般用于对齐，在本指令集中没有特殊含义，执行空操作。

格式如下：

3.2 算术运算

算术运算包含 +、-、*、/、%，支持的运算类型有 int32、uint32、int64、uint64、flt32、flt64。

• 文本格式： op des,src,src2
• 指令含义：des = src op src2
• 子操作码：可以用于将运算结果进行截断、扩展。
• 助记符后缀的数字(32、64)标识指令运算使用的寄存器位宽。
• 助记符后缀的 i 表示进行有符号运算。
• 助记符后缀的 u 表示进行无符号运算。
• 助记符后缀的 f 表示进行有符号运算。

指令格式如下所示：

3.2 位运算

位运算包括位相关的与、或、非、异或、移位、取反等运算。

支持的运算类型有 uint32、uint64。

• 文本格式： op des,src,src2
• 指令含义：des = src op src2
• 子操作码：可以用于将运算结果进行截断、扩展。
• i32：表示进行 32bit 的位运算。
• i64：表示进行 64bit 的位运算。
• 位运算都是看作无符号运算。

指令格式如下所示：

3.3 逻辑比较

逻辑比较运算包括：<、>、<=、>=、==、!=、 ==0、！=0. 支持的运算类型有 int32、uint32、int64、uint64、flt32\flt64。

• 文本格式： op des,src,src2
• 指令含义：des = src op src2
• 子操作码：可以用于标识比较的方法。
• 比较的结果，存储在整数寄存器中，且使用位宽 64 bit，即des是整数寄存器。

指令格式如下所示：

操作子码定义如下：

当不使用操作子码，而是使用下面方式运算：

• src < src2，设置des寄存器为 -1。
• src == src2，设置des寄存器为 0。
• src > src2，设置des寄存器为 -1。

3.4 条件赋值

条件赋值指令使用比较指令的结果，对另外 2 个源操作数进行选择，传递个目标操作数。

指令格式如下所示：

当比较系列指令使用操作子码方式时：

• cond == 0 ：des = src
• cond != 0 ：des = src2

当比较系列指令不使用操作子码方式时，本系列指令要求使用操作子码进行判断：

操作子码定义如下：

3.5 赋值指令

此系列包括寄存器间赋值或类型转换。

操作子码用于获取源操作数并转换到响应的类型。

操作子码定义如下：

3.6 加载存储指令

此系列指令功能是从内存中读取、存储特定类型数据。

操作子码定义如下：

3.7 出入栈指令

此系列指令用于将数据入栈，同时可以进行类型转换。 注意：入栈数据应当进行 32bit 对齐。以加快虚拟机执行速度数据

3.8 栈内存分配释放

此系列指令用于栈内存分配释放。 注意：立即数是无符号整数。

3.9 跳转指令

• 跳转的偏移量是无符号整数值；
• 相对于函数代码的起始地址；
• 偏移量是偏移的指令条数；

3.10 分支指令

此系列指令用于条件分支跳转。

操作子码定义如下：

3.11 函数指令

4 寄存器与立即数–指令集

待续

8.1 语法定义

语法使用非严格的EBNF语法描述。

文件单元
FileUnit = PkgDef (ImportDef) Decl*

包定义
PkgDef = package ID (.ID)*

依赖导入(可选)
ImportDef = 'import' STRING as ID; |'{' (STRING as ID; )* '}'
声明定义
Decl = ScopeDecl | VarDecl | FuncDecl | EnumDecl | StructDecl | UnionDecl | InterfaceDecl | ClassDecl | EntrustDecl | ~

表达式
Exp = BaseExp | DotExp | UnaryExp | BinaryExp | TernaryExp | NewExp | PriorityExp

基础表达式
BaseExp = IDExp | ConstExp | CallExp | ArrarExp | ThisExp | SuperExp
IDExp = ID
ConstExp = c
CallExp = ID '(' ArgList')'
ArrarExp = ID '[' Exp ']'
ThisExp = 'this'
SuperExp = 'super'

成员访问表达式
DotExp = BaseExp ( '.' BaseExp)*  //BaseExp不得是ConstExp

一元表达式
UnaryExp = UnaryOP BaseExp
UnaryOP = '-' | '+' | '--' | '++' | '~' | '!'
二元表达式
BinaryExp = Exp BinaryOP Exp
BinaryOP = '+' | '-' | '*' | '/' | '%' |
            '&' | '|' | '&&' | '||' |
            '<<' | '>>' | '>>>' |
            '<' | '>' | '<=' | '>=' |
            '==' | '!=' | '=' |
            
三元表达式
TernaryExp = Exp '?' Exp ':' Exp

括号表达式
PriorityExp = '(' Exp ')'

作用域声明
ScopeDecl = ( 'public' | 'protected' | 'private' ) ':'

变量声明
VarDecl = Scope Type 'id' [=initExp] ';'
Scope = ['public' | 'protected' | 'private'| 'extern' | 'static'] 
Type = ['const' ] 'id'( '.' 'id')*

代理变量
Scope Type 'id''(' [ arglist] ')' 'delegate' ';'

闭包变量
Scope Type 'id''(' [ arglist] ')' 'closure' ';'

函数申明
VarDecl = Scope Type 'id''(' [ arglist] ')'[@override] [@cfun] [const] [final] (';' |  funbody )
arglist = argitem (',' argitem)*
argitem = type ['id']
funbody = BlkState
BlkState = '{' [Statement] '}'
Statement = ( BlkState | ExpState | IfState | ElseifState |
			ElseState | SwitchState | ForState | DoState |
			WhileState | GotoState | BreakState | ContinueState |
			ReturnState )*
	

TypeDecl = EnumDecl | StructDecl |  UnionDecl |EntrustDecl
FuncDecl = Type 'id''(' [ arglist] ')' '=' Serial
	Serial = 'u32'
	枚举声明
	EnumDecl = 'enum' id [: BaseType]'{' EnumItem* '}'
	BaseType = 基本整数类型
	EnumItem = 'id'[=initExp] ','

8.2 代码结构

每一个文件都必须定义一个作用域名，其他内容在此作用域定义。

生成的声明符号都在该作用域内，只能通过该作用域才能访问代码文件中声明的符号内容。

代码结构

包声明

package pkg.pkg2;

依赖单元

Import file=“dir/file.ext”;
Import file2=“dir/file2.ext”;

或者

Import{

	file=“dir/file.ext” ;
	file2=“dir/file2.ext”;
}

枚举定义

enum name : int32{
    item=0,
    item2=23,
    …
}

结构体定义

Struct name{
	Int32 i32;
	Union{
		Int32 s32;
		Flt32 f32;
    }
}

联合体定义

Union name{
	Int32 s32;
	Flt32 f32;
	Struct{…}
}

接口定义

Interface IFather{
    void eat(int32 arg);
}
Interface IFather2{
    void say(int32 arg);
}
Interface IChild :[ IFather,IFather2 ]{
    void walk(int32 arg);
}

类定义

Class Parent {
Private:
        Int32 mI32;
Public	Flt32 mF32;
Public:
    Void print(){}
Protected void toString(){}
    Virtual void vfun()=0;
}

Class child: Parent :[ IChild ]{
    void eat(int32 arg) @override{}
    void say(int32 arg) @override{}
    void walk(int32 arg) @override{}
    void vfun()@override{}
}

8.3 关键字

airlang 的关键字分为两种：普通关键字，宏关键字。 两者差别不大，但是宏关键字有特殊的标记作用，一般用于注解一些信息。

宏关键字

普通关键字

可变位宽类型的位宽由编译的目标CPU架构有关。

8.4 操作符

成员访问操作符

成员访问操作符的优先级最高。

一元操作符

一元操作符优先级一致，主要查看其声明的先后顺序。

二元操作符

在语法解析表达式中，二元表达式最复杂的。

三元操作符

三元操作符主要用于比较赋值、简单的比较分支操作。

赋值操作符

赋值类操作符的优先级一致，优先级最低。

其他操作符

括号表达式中的括号操作符，用于提升表达式的优先级，在算符优先解析算法，该系列是作为基本表达式进行解析的。

8.5 类型系统

基本类型

可变位宽类型的位宽由编译的目标CPU架构有关。

枚举类型

枚举定义只能是定义整数类的值，其占用的字节数、有无符号性，通过基类标识指定。

如下所示：

enum Color:uint32{
    Red,
    Black,
}

结构体

结构体在airlang中是值类型，不会进入GC系统，除通过API分配独立的堆内存。

一般用于构成类中的共同属性。

struct Vec2{
    int32 x;
    int32 y;
}
struct Vec3 :Vec2{
    int32 z;
}

联合体

union Int32{
    int32 i32;
    struct{
        int8 [4] v4;
    }
}

接口

interface IEvent{
    void eat();
}

类

class Parent{
 int32 i32;

 void doing(){} 
}
class Child :Parent <IEvent>{
    int64 i64;
    void eat()@override{}
}

委托

entrust Func = void (int32,int64)@clang;