本章介绍了链路层，链路层为节点之间的基于数据包的通信和跨链路的互连提供了一种简化的机制。它包含以下几部分：

Introduction
Link
Flit
Channel
Port
Node interface definitions
Increasing inter-port bandwidth
Channel interface signals
Flit packet definitions
Protocol flit fields
Link flit

1. Introduction

链路层定义了packet和flit格式，以及跨链路的流控。

下图示例了一种基于link的通信典型系统：

2. Link

Link通信是在transmitter和receiver之间的，在transmitter和receiver之间的连接称为link，一个节点和互连之间的双向通信需要一对链路，如下图所示：

outbound link ：Transmitter发包的link，也就是我们所说的TX方向

inbound link ：Receiver收包的link，也就是我们所说的RX方向

3. Flit

Flit是链接层中传输的基本单元，packets被转换成多个filts并通过link传输。有以下两种类型的flits：

Protocol flit：

Protocol flit的payload携带protocol packet。在CHI协议里，每个packet就是一个 flit。

Link flit：

Link flit携带的messages用于链路维护。例如在断链的过程中，transmitter使用link flit返回Link Layer Credit(L-Credit)给receiver。Link flits来源于transmitter，终结于链路另一边的receiver。

4. Channel

在本规范中，链路层提供了一组通道用于flit通信。每个通道有确定的flit格式，每个通道有很多field域，且有些field的位宽可以有多重可选值。在某些情况下，所定义的flit格式可以在入站通道和出站通道上同时使用。表13-1显示了通道，以及通道在RN和SN组件上的映射。

通道依赖关系

CHI协议的channel之间允许有以下依赖关系。

对于RN：

RN的inbound SNP channel和outbound REQ channel不能存在依赖关系
RN的outbound RSP channel允许（但不要求）等待inbound SNP channel；
RN的inbound SNP channel允许（但不要求）等待outbound DAT channel；
RN的inbound RSP通道不能和其它任何通道有依赖关系；
RN的inbound DAT通道不能和其它任何通道有依赖关系；

注意：要求RN的inbound RSP和inbound DAT channel不能和其它通道有依赖关系，意味着对于所有还没有发送CompAck responses的outstanding transactions，RN必须有能力接收所有的Comp和CompData响应。

对于SN：

SN的outbound RSP channel允许（但不要求）等待inbound REQ channel；
SN的inbound REQ channel不能和outbound DAT channel有依赖关系；
SN的inbound DAT channel不能和其它任何通道有依赖关系；

5.Port

Port是一个节点接口上所有的link的集合。下图是links、channels和port之间的关系：

（Port＞link＞channel ＞ signal）

6.Node interface definitions

节点之间的通讯是通过使用node interface来交换link flits，本小节主要描述node interface，包含Request Nodes和Subordinate Nodes。每个节点中LINKACTIVE interface相关的信号和管脚将在14章《Link Handshake.》中描述。

6.1 Request Nodes（RN）

本节描述的RN接口包括：

RN-F
RN-D
RN-I

RNF

RN-F接口使用全部的channel，用于完全一致性的requester，比如coer或cluster如下图所示：

RND

RN-D interface也使用了全部通道，用于处理DVM messages的IO 一致性节点，但是SNP通道只用于处理DVM 事务。如下图所示：

RNI

RN-I 接口使用除了SNP的其它通道，用于IO coherent RN，比如GPU或IO bridge。因为RN-I节点不需要包含硬件一致性cahce或TLB，所以无需SNP通道。如下图所示：

6.2 Subordinate Nodes（SN）

SN分为SN-F和SN-I。SN-I和SN-F的interface一样，包括：

RX request channel *1
TX response channel *1
TX data channel *1
RX data channel *1

SN从ICN上接收request messages，给ICN返回response messages。但是RN-I和RN-F接收不同的事务类型。下图展示了SNF/SNI的接口：

7. lncreasing inter-port bandwidth

一个节点接口上的可用带宽可以通过几种方式来增加。这里介绍以下两种允许的架构方法：

Multiple interfaces（多接口）
Replicated channels on a single interface（单接口，复制通道）

7.1 Multiple interfaces

为一个组件增加可用带宽的最简单的方法是有多个接口。可以复制（重复）一个完整的接口。

节点上接口重复的次数是实现者自定义的。

通过两个接口增加带宽的方法的主要特点是：

每个接口都有自己的：

——节点ID

——TxnID pool

——SACTIVE信号集
——LINKACTIVE信号集

——SYSCOREQ/SYSCOACK信号集

——可选广播控制引脚集

每个重复的接口必须视为独立接口：

——如果一个接口分配了cache line，则另一个复制接口无法释放该cache line。

——当响应请求时，完成者必须在与请求所使用的接口相同的接口上发送响应。

——必须将snoop发送到用于导致cache line分配的事务的相同接口。

——两个接口之间的事务不能有依赖关系。

即使只有一部分通道需要增加带宽，也必须复制所有通道。

Address striping

可选优化：RN通过指定address striping在多个接口之间进行选择。

一个Home节点通常可以基于一个snoop filter来过滤snoop。如果SF是精确的，那么它可以跟踪缓存cache line的请求者的节点ID，并向单个接口上的同一缓存行发送后续请求的snoop。如果SF不能精确跟踪，或者是追踪的系统组件的数量而不是请求节点接口的数量，将无法隔离需要发送snoop的单个接口，除非SF知道且使用RN相同的address striping算法。

当RN没有声明它正在使用的address striping算法时，SF要么需要做的更大，要么Home节点将不得不发送冗余的snoop。因此建议RN声明它正在使用的address striping算法。

通常使用hash函数。Hash是我们的老朋友了，就不举例了。

7.2 Replicated channels on a single interface

与通过更复杂的方法复制一个完整的接口不同，增加可用接口带宽的一种更有效的方法是有选择性地复制需要更大带宽的信道。

Features：

每个通道都可以被选择性地复制。对被复制的通道没有任何限制。通常，通道的复制是基于该通道上所需的预期带宽。例如，在图13-10中，TXREQ被复制为TXREQ0，TXREQ1，而RXSNP没有被复制，只有RXSNP0。复制的通道接口的特点是：

与单个DAT通道对应的所有复制的DAT子通道必须具有相同的位宽。
完整的接口必须使用：

——相同的NodeID

——单个TxnID池

事务中的message可以使用任何子通道：

——响应消息不需要使用与请求相同的子通道。例如，TXREQ0上的请求可以在RXRSP0或RXRSP1上给出响应。

——针对单个请求的多个响应消息可以在任何子通道上出现。例如，一个写入事务的DBIDResp可以在RXRSP0上接收，而相应的Comp可以在RXRSP1上接收。

与非复制通道一样，复制通道不提供任何通道内排序保证。
所有Link信用证都是在子通道的基础上完成的。

——不能使用TXREQ0的信用证来发送TXREQ1上的flit。

——接收方必须在所有子通道上提供信用证。

协议信用证是对合并后的TXREQ通道而言。
不支持单独关闭子通道的电源。
DVM snoop的两个部分可以放在任何一个子通道上。即每个部分都可以在不同的子通道上。
两个已连接的接口上的子通道数必须匹配。
只能有一组 SACTIVE、LINKACTIVE和SYSCOREQ/SYSCOACK信号，以及可选的广播控制引脚。
当接口包含复制的DAT通道时，不允许将接口属性CCF_Wrap_Order设置为True。

8. Channel interface signals

主要包含以下内容：

Request, REQ, channel
Response, RSP, channel
Snoop, SNP, channel
Data, DAT, channel

8.1 Request, REQ, channel

图13-11 显示了REQ通道接口信号引脚，“R”：REQFLIT的位宽

下表是对上述信号的详细描述：（其他通道信号之相似，后文不再重复）

信号名	描述
REQFLITPEND	比flit提前一拍置起，表示下个时钟周期可能会有flit传输
REQFLITV	Request flit valid
REQFLIT	Request flit
REQLCRDV	Request L-Credit valid ，接收者将此信号置起以返还一个请求通道的L-Credit给发送者。

8.2 Response, RSP, channel

下图显示了RSP通道接口管脚，T是RSPFLIT的位宽，发送和接收方向的RSP通道接口信号是一样的。

下表是信号详细描述：

8.3 Snoop, SNP, channel

8.4 Data, DAT, channel

9. Flit packet definitions

9.1 Request flit

9.2 Response flit

9.3 Snoop flit

9.4 Data flit

10. Protocol flit fields

Protocol flit的opcode域值不为0，本节的所有域段都可应用于Protocol flit。下面将分别介绍Protocol field的各个域段。

简写	全称	描述
QoS	Quality of Service	事务的服务质量，QoS值越大，优先级越高
TgtID	Target Identifier	目标节点ID，message都有携带，是message要发送节点的组件NodeID，ICN可以根据这个将message正确发送到目的地
SrcID	Source Identifier,	源节点ID，ICN可以根据这个确定哪个port发送的message
HomeNID	Home Node Identifier	原始请求的HomeId，Requester在收到CompData之后，用这个域值来决定CompAck的TgtID；用于CompData和DataSepResp，在其他data message中该域值必须为0；
ReturnNID	Return Node Identifier	用于决定SN发送的CompData， DataSepResp或者 Persist response的目标节点，该值可以是HN或原始Requester的NID；用于HN发往SN的ReadNoSnp, ReadNoSnpSep, CleanSharedPersistSep, WriteNoSnp, WriteNoSnpDef, Combined Write,Atomic requests. 其他不适用的请求该字段必须为0.
FwdNID	Forward Node Identifier	用于DCT传输中CompData响应要发给的Requester，该值必须等于原始请求的Requester的NID，只应用于Forward type snoops，在其它snoop requests中无用且必须为0；注：在range-based TLBI DVM操作中，该字段为DVM payload
LPID	Logical Processor Identifier	在一个RN包含多个 processing agent时需要用其标识；在request中，和SrcID可以唯一标识一个logical processor；
PGroupID	Persistence Group Identifier	请求者使用此字段来处理不同的 CleanSharedPersistSep事务集，通过将它们分组并使用PGroupID标识每个事务集。只用于 CleanSharedPersistSep、Write*CleanShPerSep requests和Persist、CompPersist Responses。
StashNID	Stash Node Identifier	用于标识Stash request的目的地，在StashNIDValid有效时必须是有效值；只应用于Stash request中，在其它requests中无用且必须为0；
StashNIDValid	Stash Node Identifier Valid	在Stash命令中指示StashNID是否有效；在其它requests中无用
StashLPID	Stash Logical Processor Identifier	用于Stash request和Stash type snoop request中，和StashNID一块确定唯一的Logical Processor；在其它requests中必须为0；
StashLPIDValid	Stash Logical Processor Identifier Valid	用于Stash request和Stash type snoop request中，指示StashLPID是否有效；在其它requests中无用
StashGroupID	Stash Group Identifier	请求者使用此字段来处理不同的 StashOnceSep事务集，通过将它们分组并使用StashGroupID标识每个事务集。
TxnID	Transaction Identifier	Message的事务ID，如果同个源发起的outstanding transactions，需要使用不同的TxnID
ReturnTxnID	Return Transaction Identifier	用于下级节点返回CompData和DataSepResp响应的TxnID，它的值可以是HN产生TxnID，或者是原始requester产生的TxnID；
FwdTxnID	Forwarding Transaction Identifier	等于原始request的TxnID，用于snoop request中；
DBID	Data Buffer Identifier	Completer返回的响应里携带，Requester用于CompAck或WriteData的TxnID
Opcode	Channel opcodes	Opcode决定了每个message的操作，不同channel支持的Opcode不一样。在表格后文详细展开。
Deep	Deep persistence	Requester用来表示在之前的写操作完成之前不能发送Persist response。适用于CleanSharedPersist* request and Combined Write request with CleanSharedPersistSep
Addr	Address	支持44-52bits的地址
NS	Non-secure	该字段与NSE结合，建立一个访问的PAS物理空间。
NSE	Non-secure extension
Size	Size of transaction data	指定该笔transaction的data size大小
MemAttr	Memory Attribute
SnpAttr	Snoop Attribute	0： non-snoopable 1：snoopable
DoDWT	Do Direct Write Transfer	直接写传输，数据从RN直接发到SN
LikelyShared	Likely Shared,	指示的requested data可能在其它RN中存在
Order	Ordering requirements	指定保序要求
Excl	Exclusive	独占访问
CAH	CopyAtHome
PBHA	Page-based Hardware Attribute
Endian	Endian	0：小端模式 1：大端模式
AllowRetry	Allow Retry	指示transaction是否可以被Retry；
ExpCompAck	Expect Completion Acknowledge	指示transaction是否包含CompAck响应；
SnoopMe	SnoopMe	指示HN是否需要给Requester发送snoop request，仅用于Atomic requests
RetToSrc	Return to Source	指示Snoopee是否需要返回一份cacheline data给HN；适用于除了DVMop外的所有snoop
DataPull	Data Pull	指示snoop response中是否包含Read request
DoNotGoToSD	Do not transition to SD state	指示Snoopee的cache line能否允许是SD态；
PCrdType	Protocol Credit Type	指示grant或return的credit类型；
TagOp	Tag Operation,
Tag	Tag
TU	Tag Update
TagGroupID	Tag Group Identifier,
TraceTag	Trace Tag
MPAM	Memory System Performance Resource Partitioning and Monitoring
RespErr	Response Error	该域段用于指示Response的error status
Resp	Response status
FwdState	Forward State
CBusy	Completer Busy
CCID	Critical Chunk Identifier	太晚了，一些字段后续再补充