ILP

所有指令之间可能实现的通过重叠指令的执行过程成为指令级并行（ILP）。ILP通过重叠多个指令来提高性能利用执行指令所需的操作之间的并行性。即每秒钟执行的指令数增加。而一个指令所需的时间不会更改，但是有可能会增加。ILP对高级（操作系统、程序）不可见。以下为一些常用的ILP技术。

流水线（pipeline）

流水线是实现指令级并行的有效措施之一。本书通过经典的MIPS五周期流水线CPU介绍pipeline技术。当然，流水线并不是只能用于指令级并行，流水线的核心思想可以扩展到许多应用场景，需要我们具体问题具体分析。

我们可以划分指令的执行为以下 5 个经典的阶段：

• IF：指令提取
  IF阶段根据程序计数器（PC）从内存获取当前指令。
  通过向 PC 添加 4 个指令（因为每个指令是 4 个字节），按顺序将 PC 更新到下一个指令的地址。

• ID： 指令解码 （带寄存器提取）
  解码指令并读取寄存器；在读取寄存器时，对可能的分支执行相等性测试（提前分支判断）。在需要的情况下，对指令的偏移字段进行符号扩展; 通过将符号扩展偏移量添加到递增的 PC 来计算可能的分支目标地址。在实现了提前分支判断的CPU中，如果条件测试为true，可以通过将目标地址存储到 PC 中完成分支指令。

• EX：执行
  执行或有效地址计算，在载入-存储体系结构中，无需指令同时计算数据地址并执行数据操作。 ALU 将处理两种可能性之一。

• MEM：内存访问
  访存阶段，对于load指令，ALU的输出为要读取的数据的地址，对于store指令，将寄存器的数据写回到指定存储器地址，ALU的输出为要存入的数据的地址。

• WB： （注册） 回写
  写回阶段，将ALU计算的数据或load指令读出的数据存入寄存器中。

流水线对单个任务的延迟没有帮助，它有助于整个工作负载的吞吐量。流水线时钟频率速率受最慢管道阶段限制，流水线的时钟周期时间的最小值等于这五个阶段关键路径的延迟的最大值与寄存器延迟的和。流水线CPU的多个指令在同时运行，并且流水线的最大加速比等于流水线级数。流水线可以缩短每条指令的平均执行时间，这可认为是降低了CPI或时钟周期时间。实际上，流水线并没有缩短每条指令执行的总时间。反而，由于流水线开销，指令的延迟实际上略有增加。

流水线的开销主要表现在，第一，不平衡的管道阶段，最慢的阶段主导着总吞吐量。第二，流水线寄存器和时钟偏斜，第三，寄存器的设置时间存在延迟。

实际中还存在时钟偏斜，我们假设所有寄存器同时在时钟边缘触发。在实际工作中，由于物理设计不完善，一些寄存器比其他人更早的到达时钟边缘。

并且，流水线中存在流水线冒险现象，其会阻止指令流的下一条指令执行。冒险会降低流水化带来的加速比。

冒险通常会带来流水线停顿，对于存在冒险的流水线的加速比，我们可以通过以下方式计算。加速比等于1除以1与每条指令的平均流水线停顿周期的和再乘流水线深度，流水线深度等于非流水化时钟周期除以流水化时钟周期。

冒险通常分为以下三类，1，结构冒险，即指令所需计算资源繁忙（例如，需要多个阶段的指令，在这条指令执行的过程中，不能执行使用这个资源的其他指令）2，数据冒险，即指令之间的数据依赖关系，需要等待以前的指令来完成其数据读/写。3，控制冒险，执行流取决于以前的指令。比如分支跳转指令。

对于不同的冒险，我们采用不同的方法来解决，但是解决这三种不同冒险的思路相似的。

对于结构冒险，其本质上是由于资源不足或者某一模块流水化程度低导致的，为了避免结构冒险，最简单方法解决方法便是流水线停顿，即等待上一条指令执行到消除冒险后再执行下一条指令。停顿通常称为流水线气泡，或称为气泡。对于只有一个写端口的寄存器堆，在同一个时钟周期内，若有两条指令同时去写寄存器堆，就会产生结构冒险，但是，一般来说，在同一个时钟周期内，一条指令读一条指令写寄存器堆不会产生结构冒险。对于结构冒险的最有力的解决措施是添加硬件资源，可以（几乎）消除结构危害。完全避免结构性危险是非常昂贵的，对于流水线功能单元成本更高（流水线式 FP ALU 成本高）。如果结构危险是罕见的，就忽略它。例如，如果 FP 操作很少，则只需使用非流水式 FP ALU。

对于数据冒险，数据冒险是由于指令之间的依赖导致的。通常情况下指令之间存在着依赖关系，即数据相关，我们可以把数据相关分为（真）数据相关，名称相关和控制相关，对于存在依赖关系的两条指令，其必须顺序执行，不能进行重排序。对于真数据相关，我们可以通过合适的调度尽可能地在保持依赖关系的同时减少冒险的发生，对于名称相关，我们可以通过寄存器重命名解决。数据冒险一定发生于存在依赖关系的指令之间，但是存在依赖关系的指令执行时不一定发生数据冒险。对于控制相关，其主要表现为控制相关的指令受到其对应的控制指令（一般是分支指令）控制，只有在应当执行时去执行。对于控制相关，我们可以通过推测来实现存在控制相关的指令的调度。

数据冒险按数据依赖关系划分可以分成以下三类。

1，写后读（RAW）。写后读冒险是由于在写指令i执行前读指令j试图读取相应的寄存器。

2，读后写（WAR）。WAR冒险是由于读指令i执行前写指令j试图写入相应的寄存器。

3，写后写（WAW）依赖。WAR冒险是由于写指令i执行前写指令j试图写入相应的寄存器。

对于RAW冒险，其来源于真数据依赖，而对于WAR和WAW冒险，其来源于名称相关，因此，WAR和WAW冒险可以通过寄存器换名解决。

一般来说，对于数据冒险，我们可以通过旁路（数据前推或短路）和流水线暂停实现数据冒险的解决。旁路技术主要是通过将计算结果通过流水线寄存器转发到当前执行的其他指令之中，其他指令可以通过流水线寄存器获取存在数据依赖的指令的执行结果而不必要等其执行完毕后才获取。比如，对于