关键要点

1. CXL技术将内存与存储设备连接起来，提高性能和效率。
2. U-IO是一种新的TLP格式，可实现DMA P2P路由。
3. 需要进行系统和协议的启用工作来支持这些新功能。

===

关于Solidigm^[1]

Solidigm 是一家全球领先的创新NAND闪存解决方案提供商。该公司源自于2020年10月SK海力士与英特尔签订的协议，收购了英特尔的NAND和固态硬盘（SSD）业务。Solidigm于2021年12月30日正式成立，成为SK海力士在美国的独立子公司。

基于CXL的访存应用场景

DRAM在CXL上的经济性推动生态系统的采用。机架是新的服务器。

• 针对特定工作负载划分资源集群

• 更快、更密集的本地存储可能取代SAN
• “近”内存提供降低SSD成本的机会

多级CXL交换机拓扑将一些资源放置得更近，而其他资源则放得更远。

• 需要分层解决方案

• 低温层的内存成本仲裁
• 访问内省辅助

• 优化跨交换机P2P流以提高性能，并减轻上游CXL通道的负担

• 无序IO和回收失效嗅探

区分近存/原存应用场景

在CXL之前，连贯内存总是存在于“根复合体的另一侧”。

CXL内存现在距离加速器或存储设备仅一步交换。

由于主代理跟踪对等CXL内存的连贯状态，DMA事务必须通过它进行路由，这会造成：

• 上游CXL通道拥堵
• 遍历延迟

DMA（Direct Memory Access，直接内存访问）是一种允许外部设备（如硬盘、网络接口卡等）直接访问系统内存的技术，而无需经过中央处理器（CPU）。这意味着外部设备可以在不占用CPU资源的情况下读取或写入内存，从而提高数据传输的效率和速度。
主要特点：
1. 效率：减轻CPU负担，提高数据传输速度。
2. 并行处理：设备可以同时与内存进行数据传输，而CPU可以执行其他任务。
3. 降低延迟：直接访问内存减少了数据传输的延迟。
DMA通常用于需要大量数据传输的场景，例如音频、视频流或大规模数据处理。

图中红色虚线路径是基于CXL交换机实现的内存扩展，其数据访问方式，Home Agent在这种模式下会产生大量路由工作，成为数据传输瓶颈。

基于CXL的远距离内存访问需要解决上述问题！

解决方法

• PCI-SIG 引入了一种新的 TLP 格式，称为无序 IO（Unordered IO）

• 使得直接的 DMA 点对点（P2P）路由通过交换机成为可能。

• CXL 引入了一种新的请求类型，称为回退失效嗅探（Back Invalidate Snoop）

• 使得从属的 CXL.mem 设备能够发起一致性状态更新。

现在 P2P DMA 可以产生一致性数据。

通过4步来实现无序IO访问：

1. UIO DMA请求
2. 后备无效快照请求
3. 后备无效快照及数据响应
4. DMA数据移动

如何理解 回退失效嗅探（Back Invalidate Snoop）？

回退失效嗅探（Back Invalidate Snoop）是一种用于维护缓存一致性的新请求类型，主要应用在 CXL（Compute Express Link）架构中。
以下是对其的理解：
1. 缓存一致性：在多处理器系统中，各处理器可能有各自的缓存，确保这些缓存中的数据保持一致是非常重要的。回退失效嗅探的主要目的是在多个处理器或设备之间实现这一点。
2. 请求机制：当一个 CXL.mem 设备需要更新其缓存中的数据时，它可以发起一个回退失效嗅探请求。这种请求会通知系统中的其他设备，标记某些数据为“失效”，即这些数据不再有效。
3. 状态更新：通过这种机制，CXL.mem 设备能够主动更新其数据状态，确保其他设备在访问数据时所使用的是最新的和一致的版本。
4. 提高性能：这种方法通过减少不必要的缓存更新和数据传输，提高了整体系统性能和效率，降低了延迟。

与NVMe的联系

• U-IO写操作是非发布的，具有性能惩罚。
• NVMe设备仅应在以下情况下启动U-IO DMA：

1. DMA操作专门针对开关对等体的地址。
2. CXL交换机结构支持直接U-IO点对点路由。
3. 目标CXL.mem设备支持回退失效。

系统和协议启用工作是必需的。

行动呼吁

• U-IO是一个新的PCIe Gen6 TLP格式

• 联系您的NVMe/PCI IP供应商以获取支持路线图

• NVMe中对“U-IO可选择性”的协议支持

• 需要整个联盟的合作以实现TPAR

1. TLP格式：TLP（Transaction Layer Packet） 格式是PCIe（Peripheral Component Interconnect Express）协议中的一种数据传输格式，用于在设备之间传送数据。TLP包含了控制信息和数据负载，确保数据的有效传输和完整性。
2. TPAR：TPAR（Transactional Performance Analysis Report） 是一种用于评估和分析存储系统性能的报告，通常涉及对事务性能的监控和优化。它帮助开发者和工程师理解系统在处理事务时的效率和瓶颈。

总结

文章讨论了CXL如何为NVMe设备提供新的可能性，特别是在利用U-IO（无序I/O）进行数据传输方面。U-IO作为一种新型的PCIe Gen6交易格式，可以实现非阻塞写入操作，提高数据处理速度。然而，为了充分利用这些新功能，需要硬件、固件以及协议层面的支持和合作。

引用链接

[1] 关于Solidigm: https://metaso.cn/s/3fQffDO

---【本文完】---

PPT取自 Solidigm 高级工程师 Sam Bradshaw，在FMS-2023闪存峰会上的汇报材料。

识别即可访问材料👇