按：海外服务器厂商 Supermicro （超微）在FMS2024 峰会上，介绍了其最新存储服务器架构设计和选型建议，并曝露CXL内存的支持路标。

存储系统架构转换

图片描述了从2000年到2025年存储系统架构的演变过程。

早期的存储架构基于并行连接，如ESCON、SCSI和ATA。

随着技术发展，系统逐渐转向串行连接，如SAS、SATA，以及NVMe/U.2。

进入2020年以后，架构向多模式的方向发展，包括支持SAS/SATA和U.3。

2025年预期将会出现基于PCIe的高性能架构，同时新兴应用，如FPGA和CXL，也会逐渐进入存储系统。

存储系统逐渐兴起的接口标准

新兴存储接口标准的迭代经历了几个阶段：

• 早期 NVMe SSD 借助 U.2 接口兼容广泛使用的高性能SAS接口；
• 逐渐过渡到 E1.S/L 接口；
• 升级到 E3.S & CXL 接口。

Note：后文会介绍 E.1 和 E.3 是两条独立的技术升级路线。

超微产品中的存储接口

图示Supermicro存储产品的外形规格演变，从GEN3到GEN5的逐步发展。GEN3中使用了U.2端口技术，而在GEN4和GEN5中，存储技术正在转向EDSFF规格，包括E1.S和E1.L等新兴标准。GEN5阶段表明U.2到E3的转换正在进行，同时E1规格继续增长，并获得多厂商的支持。

Note：E3 系列是为兼容U.2接口生态；E1 系列不同厂商也在持续繁荣中。

传统存储托架设计（U.2）

1. 传统背板设计限制气流传统背板设计，箭头指示气流受限的方向。
2. PCBA板阻碍气流路径气流从左侧进气，右侧排出，气流路径受限。
3. SFF-8639接口 SFF-8639驱动连接器在行业中表现良好，并将在可预见的未来继续使用。右下角显示了PCIe Express和SATA连接的插槽结构。

EDSFF存储托架设计（E3.S）

1. EDSFF托架设计优化了气流优化气流管理，气流通过组件之间流动，从而提升散热性能。
2. 电源和设备/托架管理是PCBA上的唯一轨迹，减少PCBA上组件数量，避免阻碍。

EDSFF（E3.S）存储托架的灵活性，用户可以通过更换不同的电缆（设备管理单元）来调整连接的PCIe通道数量（x2, x4, x8）。这种设计简化了存储托架的可扩展性和灵活性，同时维持对电源和设备管理的支持。

Gen5 EDSFF Petascale 平台创新

1. 优越的信号完整性

• 主板直接连接到SFF-TA-1002 1C连接器/SSD，减少背板布线信号损失。
• 减少大约40%的信号损失。

2. 更好的气流

• 没有垂直背板阻挡气流。
• 前部开口增加约75%。
• 系统CFM（立方英尺每分钟）改进约20%。

右侧显示了两种存储解决方案的示意图：

• E3.S SSD + EDSFF 背板
• U.2 SSD + 背板

Note：结合 Viking Enterprise 存储分析师的观点，Gen5 SSD在实际网络中可用带宽不超过70%（软硬件层通信消耗），领先的接口设计，虽能在能耗方面做的更优，但投入和收益仍需谨慎。

参考阅读：

• 高性能存储阵列：虽好不一定适合

Gen5 EDSFF Petascale 平台创新

副标题：专为全NVMe和软件定义数据中心设计

1. 统一机箱

• 支持：

• Intel 双处理器 (DP) 和 AMD 单处理器 (UP)
• 1U 高度支持多达 24 个 E1 SSD
• 1U 高度支持多达 16 个 E3 SSD 和 CXL
• 2U 高度支持多达 32 个 E3 SSD

• 机箱深度小于31英寸

2. 平衡架构

• 前置存储IO，后置网络
• 简化NUMA（非统一内存访问）和IO复杂性

Note：“UP” 是 "Uniprocessor" 的缩写，表示单处理器系统。相比之下，“DP” 是 "Dual Processor" 的缩写，表示双处理器系统。因此，UP 代表单处理器，而 DP 代表双处理器。

X13 & H13 Petascale 全闪存服务器亮点

关键特点：

• 支持双Intel和单AMD单PCIe Gen5处理器。
• 支持1U E1.S和E3.S，以及2U E3.3 TLC, QLC 和CXL设备，且在2U中可支持高达1PB的全闪存。
• 通过EDSFF设计优化的散热设计。
• 平衡前置SSD和后置IO设计的PCIe通道。
• 提供高达30M 4KB RR IOPS和230+ GB/s 128KB SR带宽。

目标解决方案：

• 高性能AI SDS构建模块。
• 虚拟化和密集VDI。
• 高性能对象存储。
• 超融合基础设施。
• 高性能CDN和视频流媒体。

X14 Petascale 灵活拓扑（DC-MHS） 副标题：在1U和2U机箱设计中提供平衡的存储和网络带宽

• 左侧：1U/16个E3.S SSD（x4 通道）

• 配置：x64 PCIe通道（16x4）
• 两个CPU之间通过UPI连接
• 四个E3.S SSD驱动器

• 中间：2U/24个E3.S SSD（x4 通道）

• 配置：x96 PCIe通道（24x4）
• 两个CPU之间通过UPI连接
• 支持24个E3.S SSD驱动器

• 右侧：2U配置16个E3.S SSD（x4 通道）和8个E3.S 2T CXL设备（x8 通道）

• 配置：x128 PCIe通道（16x4+8x8）
• 两个CPU之间通过UPI连接
• 支持CXL存储器设备

Note：Intel的UPI（Ultra Path Interconnect）是一种用于多处理器系统中连接处理器的高速互连技术。它主要用于Intel的服务器级处理器（如Xeon系列），用于在多处理器配置中实现高带宽、低延迟的数据传输。

图示3种架构，从左往右连接前端存储通道数不断增加，对网络带宽需求逐渐增加，合理的硬件选型，要能适配业务场景带宽需求，灵活配置。这对服务器设计提出挑战，能随着业务扩展，调整有限设备满足场景，减少重复投资建设。

CXL (Type 3) 内存扩展的应用案例

1. 容量扩展

• 增加内存而不增加服务器。
• 针对内存容量密集型的工作负载（如IMBD）。

2. 带宽扩展

• 通过聚合内存带宽提升性能。
• 针对内存带宽密集型的工作负载（如AI）。

3. 容量和带宽扩展

• 结合容量和带宽的扩展需求。
• 适用于性能密集型工作负载、推理和LLM等任务。

4. 分层内存

• 使用低成本CXL，有限地增加容量和带宽。
• 针对分层工作负载（冷热数据分层）。

5. 内存池化

• 在机架级别进行动态内存分配。
• 降低数据中心或机架总拥有成本（TCO），但可能增加延迟。

新的CXL内存扩展有助于数据中心降低总体拥有成本（TCO），图示Samsung/Micron支持CXL的内存单元。

Note：In-Memory Database (IMDB) 是一种内存容量密集型的工作负载，因为它依赖于系统内存来存储和处理数据，而不是传统的硬盘或固态硬盘存储。这种方法适合需要高性能、低延迟数据访问的应用场景，例如实时分析、事务处理和大规模数据处理。

不同业务内存负载表征

图示各种工作负载（如AI推理、内存数据库、图分析等）在内存带宽和延迟上的需求差异。

应用场景如内存数据库和Spark数据分析较为依赖内存延迟，而一些高性能计算和AI推理则更加受限于内存带宽。

通过CXL/CMM技术，可以为这些工作负载提供必要的内存容量和带宽扩展，帮助优化数据中心性能。

Note：大规模业务场景的负载特征是值得深入研究的，以便在硬件设计和系统集成层面，进一步优化，提升效率的同时，降低成本。

CXL 特性随版本的迭代，可参考阅读:

• 从CXL路标，看数据中心再解耦

• Micron：CXL面临的三大挑战

值得一提的是底部，Intel/AMD SOC对CXL版本支持的路标。

• CXL 1.0/1.1 目前 intel Xeon 5代和 AMD Genoa & Bergamo 是支持的
• CXL 2.0 intel Xeon 6代和 AMD Turin 是支持的

总结

EDSFF - 高效能设计

• 增加CPU核心和PCIe通道 = 更多能力
• 通过CXL提升内存容量和带宽 = 更多性能层级
• 直接连接EDSFF托架 = 更低的延迟
• 更好的气流 = 更高的电源效率
• 更好的信号完整性 = 更多IOPS（每秒输入输出操作）

---【本文完】---

公众号：王知鱼，专注数据存储、云计算趋势&产品方案。

PPT取自 Supermicro 存储系统主管 Paul McLeod，在FMS-2024闪存峰会汇报材料。

识别访问/下载材料👇