【ARM】CCI集成指导整理

1.CCI集成流程

2.CCI功能集成指导

2.1CCI结构框图解释

Request concentrator

Transaction tracker

Read-data Network

Write-data Network

B-response Network

2.2 接口注意项

记录一下CCI500的ACE slave interface不支持的功能：

对于ACE-Lite slave interface来说：

对于AXI4 master interface：

将AXI4 master连接到CCI-500的ACE-Lite接口：

2.3CCI的系统级一致性

Domain signaling

Point of Serialization

WriteLineUnique 和 WriteUnique支持

2.4 Exclusive accesses

2.5 Request stalls

2.5.1 Tracker capacity

2.5.2 Address hazards

2.5.3 ID hazards

2.5.4 ID reuse and performance

2.6 CCI-generated writes

2.7 ID 管理

2.8 Back-invalidations

2.9 Control high priority requests latency

1.CCI集成流程

上述为推荐的集成流程，每个方面的技术细节这里暂时不展开了，涉及了ACE\AXI4\APB\Low-power interface\clk_rst\综合\DFT\验证等。

2.CCI功能集成指导

这是本次整理主要内容，涉及了CCI在不同case下会有的不同行为。这一章主要是总结一些AXI和ACE协议的需求。

结合之前的CCI500_execution_tb【ARM】CCI500_execution_tb-CSDN博客可以很容易理解上述的架构图。

2.1CCI结构框图解释

Request concentrator

请求集中器（RC）根据事务跟踪器（Transaction Tracker, TT）和ID跟踪器（ID Tracker, IDT）中的服务质量（Quality of Service, QoS）属性和占用水平（occupancy levels）来对请求进行仲裁。根据地址，请求随后进入两个TT分区中的一个。TT负责处理危险检查（hazard checking），生成窥探请求（snoop requests），并根据需要将请求发送到下游。每个从属接口都有一个IDT，它向TT提供排序要求。

Transaction tracker

对于shareable requests，TT访问窥探过滤器（snoop filter）以确定请求是否必须进行窥探或继续向下游发送。TT还向窥探过滤器发出分配和去分配请求，确保窥探过滤器始终包含最新信息。如果窥探过滤器在尝试分配时找不到空闲条目，它将通过发出CleanInvalidate窥探请求来释放一个条目。

Read-data Network

如果窥探过滤器指示数据可能被保存在上游缓存中，TT通过Snoop网络（Snoop Network, SN）向适当的ACE从属接口发出窥探请求。这些接口通过可选的流水线阶段和出口（egress）寄存器片进行访问。在窥探命中的情况下，SN通过读数据网络（Read-data Network, RN）将数据发送回原始主设备。

RN是一个全交叉互联，它将读数据从主接口传输到从属接口。

如果读响应不需要数据传输，TT通过读响应器（Read Responder, RR）发送读响应。例如，TT可能使用RR处理直接虚拟内存访问（Direct Virtual Memory access, DVM）消息或缓存维护（cache maintenance）操作。

Write-data Network

如果需要CCI生成的写操作，SN通过写数据网络（Write-data Network, WN）发送窥探数据。WN是一个全交叉互联，它将写数据从从属接口传输到主接口。

不可共享请求和导致窥探过滤器未命中的可共享请求通过请求分配器（Request Distributor, RD）发送到下游的主接口。为了防止跨流阻塞，RD只允许TT向具有空间的FIFOs的主接口发送请求。

B-response Network

在TT处理写请求并且RD允许请求向下游发送后，将路由信息发送到WN。这个路由信息允许写数据被发送。B响应网络（B-response Network, BN）将写响应传输到IDT。IDT将写响应发送到原始主设备，并在必要时重新排序以满足ID排序要求。

APB接口使您能够对CCI-500进行编程。APB接口连接到配置寄存器块（Configuration Register Block, CRB）和性能监控单元（Performance Monitoring Unit, PMU）。

P-Channel和Q-Channel提供时钟和电源控制。

2.2 接口注意项

当使用不是完全支持接口协议的master或slave时，需要做额外的logic去提供需要的值。

记录一下CCI500的ACE slave interface不支持的功能：

对于ACE-Lite slave interface来说：

也是不支持barrier transactions。与一般的ACE-Lite slave不同的是CCI的拥有AC和CR channel用来发送DVM messages。当连接不支持返回DVM message response的master，若CCI 发送DVM message会导致CCI deadlock住，所以建议将ACCHANNELEN tie 0来避免这个问题。

CCI可以设置可以接受的OT的大小。设置SIx_RW_MAX。

对于AXI4 master interface：

注意分为system interface和memory interface， address decoder用来做地址区分，fix从什么端口出。

将AXI4 master连接到CCI-500的ACE-Lite接口：

ACE-Lite 较 AXI4支持 硬件一致性和缓存维护(cache maintenance). 所以如果想将AXI4 master连接到CCI500的ACE-Lite接口上需要注意如下事项。

PS：正常的ACE-Lite相比AXI4增加的接口如下：

因为AXI4没有AC等接口所以只能保持hardware coherency。AXI4->ACE-Lite的转换通过添加AxDOMAIN信号，并且确保其他的AXI4无法驱动的ACE-Lite接口tie off。下表声明如何将这些信号tie off。

CCI-500 的 ACE-Lite 从属接口支持可编程的可共享覆盖。因此，您可以为连接的设备配置适当的属性，使其可以是共享的，也可以是不共享的。

注意：

FIXED 突发传输、设备内存事务和 DVM 消息事务不受任何覆盖影响。
如果一个主设备正在对可共享区域生成独占访问，它需要在其他主设备中增加额外的独占监视器。因此，如果它覆盖为可共享，CCI-500 将 AxLOCK 覆盖为正常，独占写入将失败

或者，如果需要共享和非共享流量的混合，则必须使用从属接口上的 AxDOMAIN 输入信号来标记这种混合。您可以基于以下内容对 AxDOMAIN 进行解码：

地址，其中某些区域被视为可共享的，其他区域被视为非共享的。
ID，其中某些主设备或线程被视为可共享的。
USER 位。如果您使用 CoreLink NIC-400 网络互连来组合几个具有不同 AxDOMAIN 信号要求的 AXI 主设备，那么每个主设备都可以为其自己的事务生成自己的 AxDOMAIN 信号。然后，您可以使用 AxUSER 信号将这些信号通过互连路由，并将 AxUSER 输出连接到 CCI-500 ACE-Lite 从属接口的 AxDOMAIN 输入。

注意：

当事务被标记为内部共享或外部共享时，根据 ACE 规范，其他属性有限制。以下表格显示了这些限制。

其余有一些AXI3连接ACE-Lite slave interface，ACE-Lite连接master interface暂时不更新。（有需要可以评论一下我再更新）

2.3CCI的系统级一致性

Domain signaling

下图是AMBA中对AxDomain的解释

CCI是被认为处于Inner和Outer domain中的。所以AxDomain处于Inner Shareable和Outer Shareable时可能会导致snoop transaction到连接的ACE master上，取决于snoop filter 的内容。又因为下游的端口都是AXI4，因此domain信息是不会传到下游去的。Cache maintenance 操作总是会终止于CCI-500。下表是CCI-500对AxDomain的处理。

Point of Serialization

与exclusive access有关。

在一致性系统中，每个可共享地址必须对所有能够访问该地址的主设备有一个单一的序列化点（Point of Serialization, PoS）。PoS也被称为一致性点（Point of Coherency, PoC）。

CCI-500包含两个PoS，每个事务跟踪器（Transaction Tracker, TT）分区一个。这些PoS覆盖由哈希算法确定的不同地址区域。所有进入PoS的可共享事务都会针对发往该分区的其他可共享事务的进展进行危险检查(hazard check)。

例如：

事务1，一个共享读取事务，通过了PoS。
事务2，一个与事务1具有相同地址的共享读取事务，进入了PoS。
事务2对事务1进行了危险检查，因为事务1尚未完成。
事务2仅在事务1完成后才继续进行。也就是说，当事务1收到RACK（Read Acknowledge）并且事务被接受进入CCI时。

注意：为了维护一致性，如果一个代理以可共享的方式访问地址，所有代理都必须以可共享的方式访问它。此外，任何在主设备之间共享的可缓存地址都必须使用被标记为内部共享（Inner Shareable）或外部共享（Outer Shareable）的事务来访问。

WriteLineUnique 和 WriteUnique支持

CCI-500 处理 WriteLineUnique 和 WriteUnique 事务。当它接收到一个 WriteLineUnique 事务时，CCI-500 会生成一个 MakeInvalid 窥探事务来使所有缓存中的cacheline失效。当 MakeInvalid 通过了 PoS（Point of Serialization）并且完成了其窥探事务时，CCI-500 会从其 AXI4 主接口发出一个 WriteNoSnoop 事务。当它接收到一个 WriteUnique 时，CCI-500 会生成一个 CleanInvalid 窥探来清理和使所有主缓存中的相关cacheline失效。当 CleanInvalid 通过了 PoS 并且完成了其窥探事务时，CCI-500 会从其 AXI4 主接口发出一个 WriteNoSnoop 事务。与任何 CleanInvalid 事务一样，CCI 生成的 WriteBack 事务可以优先于 WriteNoSnoop 事务。这个现象与仿真case一致。【ARM】CCI500_execution_tb-CSDN博客

为确保 CCI-500 中有足够的一致性处理时间，提供了写数据缓冲区。这些缓冲区允许链接的 AW 和 W 通道事务通过提供写数据存储在 AW 通道被处理时进入 CCI-500。如果接收到的 WriteUnique 或 WriteLineUnique 事务与之前的 WriteUnique 或 WriteLineUnique 事务发生危险冲突，它会在 PoS 处被暂停。该事务在早期写入完成之前不会进展。如果事务仅与同一 ACELite 从属接口的早期事务发生危险冲突，它可以在早期窥探事务完成后进展。在这种情况下，事务可以在不必等待早期写入事务完成的情况下继续进行。然而，如果暂停事务的原因是为了防止其他事务饥饿，被暂停的事务在早期写入事务完成后才能继续。任何 WriteUnique 或 WriteLineUnique 事务如果与除 WriteUnique 或 WriteLineUnique 之外的可共享事务发生危险冲突，都必须等待早期事务完成后才能进展。

2.4 Exclusive accesses

CCI-500 支持对可共享和不可共享位置的独占访问。 CCI-500 的独占访问支持符合 ACE 和 AXI4 协议所定义的标准。注意： CCI-500 仅提供 PoS（Point of Serialization）独占监视器。主设备和从设备组件必须以符合 ARM® AMBA® AXI 和 ACE 协议规范，AXI3, AXI4, 以及 AXI4-Lite ACE 和 ACE-Lite 的方式提供额外的监视器。 ARM® AMBA® AXI 和 ACE 协议规范，AXI3, AXI4, 以及 AXI4-Lite ACE 和 ACE-Lite 仅允许在 ACE 接口上进行可共享的独占访问。有关所需 ACE 信号的信息，请参见规范。以下事务与可共享位置的独占序列相关联：

断言 ARLOCK 的 ReadClean。
断言 ARLOCK 的 ReadShared。
断言 ARLOCK 的 CleanUnique。

CCI-500 支持每个 ACE 主设备最多四个独占访问线程，并为安全和非安全事务设有单独的监视器。这意味着非安全事务不能影响安全事务，反之亦然。从属接口上的 ARID 信号的两个最低有效位区分独占线程。当与 ARM 处理器一起使用时，这些位标识群集中的每个处理器。在该线程的独占共享访问上设置监视器标志，并在来自不同独占线程的成功独占共享访问上重置。如果处理器对其缓存以共享状态持有的存储位置执行 Store-Exclusive 指令，则必须在 ACE 接口上发出相应的独占 CleanUnique 事务。当 CleanUnique 事务由 CCI-500 处理时：

如果设置了适当的监视器，事务可能会通过。发送窥探并返回 EXOKAY 响应，除非它以 ERROR 响应命中。
如果未设置适当的监视器，则认为事务失败。抑制窥探，并返回 OKAY 响应。

2.5 Request stalls

有时，CCI-500必须暂停读写请求，例如，为确保顺序正确性或避免潜在的死锁。了解导致暂停的原因对避免它们并提高系统性能至关重要。或者，您可以诊断意外行为。本节描述了这些场景。

2.5.1 Tracker capacity

CCI-500为每个从属接口包括一个IDT（ID跟踪器）和一个单一的中央TT（事务跟踪器）。当这些跟踪器任一变满时，它们无法接受更多的事务并导致暂停。每个跨互连的事务都占用IDT中的一个槽位，该槽位对应于启动事务的从属接口，以及TT中的一个槽位。

对于每个从属接口，TT具有：

两个保留用于写事务的槽位。
两个保留用于读事务的槽位。 TT中剩余的槽位由任何从属接口的读写事务共享。

对于其相关联的从属接口，每个IDT具有：

两个保留用于读事务的槽位。
SIx_W_MIN个槽位保留用于写事务。

每个IDT中剩余的槽位由相关联的从属接口的读写事务共享。当给定事务在其相关的IDT或TT中既没有保留槽位也没有共享槽位可用时，该事务以及同一通道上的后续事务将被暂停，直到有槽位可用。由于每个从属接口的读和写操作都有单独的保留槽位，每个特定通道上的暂停是相互独立的。例如，由于缺少读事务的槽位而在一个从属接口上引起的暂停不会导致同一从属接口上的写操作暂停，或任何其他从属接口上的事务暂停。

2.5.2 Address hazards

为维护数据一致性，CCI-500根据地址信息来暂停某些事务。对于可共享事务，事务跟踪器（TT）执行地址检查以确保每个64字节缓存行的事务访问具有全局顺序。

读取地址危险仅会阻塞受影响的请求。其他请求可以越过被暂停的请求。

写地址危险阻止了发起主设备的任何后续请求的进展。

2.5.3 ID hazards

当一个主设备使用相同的ID进行多个未完成的事务时，就会对CCI（一致性互连）产生顺序要求。有时，为了避免死锁或需要额外的重新排序逻辑，有必要暂停重用ID的请求。如果满足以下条件，读请求将在TT（事务跟踪器）中被暂停：

它与另一个未完成的读请求具有相同的ID，但是指向不同的主设备接口。来自同一主设备的其他读请求，如果具有不同的ID，可以在IDT（ID跟踪器）和TT中有空间的情况下，绕过被暂停的事务重新排序。
它具有一个与尚未完成其窥探活动的早期事务匹配的ID。

可以在没有延迟的情况下为以下事务发出窥探，但是早期事务必须在发出后续AR（地址）通道信息之前通过PoS（点序列化）、发出AC（一致性确认）通道信息，并完成所有由CR（读请求）通道或CD（数据）通道引起的活动。

这种危险不会阻塞主设备接口，其他请求可以越过被暂停的事务。

2.5.4 ID reuse and performance

当主设备使用单一ID处理多个未完成的事务时，可能会发生一些读写请求暂停的情况。通常情况下，与CCI-500一起使用的主设备的性能会得到提升，如果每个未完成的事务都有一个不同的ID，或者在时间上分隔开ID的重用。此外，使用不同的ID使得从属设备能够重新排序响应，这可以提高效率，例如在动态内存控制器中。

这里挖个坑后面要补一篇AXI order的。

2.6 CCI-generated writes

下表描述了会产生CCI-500 writes的responses

CCI生成的写事务ID在与其他事务的ID比较时是唯一的。其他负载值要么是固定的，要么继承自相关联的读事务，如下表所示：

2.7 ID 管理

为了区分不同端口，会添加3bit的数据到ID的LSB来区分不同的slave端口。

2.8 Back-invalidations

回无效（Back-invalidations）发生在当一个分配事务类型无法在窥探过滤器中分配时，因为该索引的所有方式（ways）都已满了。在这种情况下，为了给新的分配事务腾出空间，窥探过滤器会逐出一个现有的wai。为了在这样做的同时保持正确的缓存行所有权列表，窥探过滤器必须通过在所有相关的窥探通道上发送CleanInvalid事务来使地址在所有共享域的缓存中失效。

窥探过滤器在操作过程中使用一个单独的跟踪器跟踪回无效的进展，这意味着它能够继续处理后续的缓存行访问。因此，窥探过滤器在任何给定时间只能执行有限数量的回无效事务。当达到限制时，窥探过滤器就无法执行任何更多的分配。大量的回无效可能导致性能问题，包括：

阻塞分配事务。
从缓存中移除有用的数据。

一般来说，回无效是不常见的。回无效数量高的可能原因包括：

连接的主设备没有生成Evict事务。通常，当一个缓存行从缓存中被释放，并且这种释放不是通过其他总线活动（如WriteBack）已经显而易见时，处理器会生成Evict事务。
窥探过滤器的大小没有正确设置以适应连接的主机的缓存大小。将FILTERED_CACHE_SIZE参数设置为所有上游缓存的总大小，单位为KB。
地址模式映射，将大部分分配映射到相同的窥探过滤器索引。

2.9 Control high priority requests latency

如果CCI-500发送许多低优先级的请求，一个低优先级的请求可能会在CCI主接口中停滞。当一个停滞的低优先级请求阻止了一个高优先级请求的进展时，这种情况被称为队首阻塞（head-of-line blocking）。您可以使用每个主接口上的VAXQOSACCEPT输入来防止队首阻塞。VAXQOSACCEPT输入可以发出信号，指示从属设备可能在短期内接受请求的最小服务质量（QoS）值。像DMC这样的下游从属设备通常会根据其请求队列的占用情况来驱动VAXQOSACCEPT输出。如果这个值高于QoS阈值，CCI-500只将高优先级请求发送到下游。这种行为防止了低优先级请求填满从属队列并阻塞接口。

下期预告：

SMMU整理