芝能智芯出品

人工智能（AI）和机器学习技术的迅速进步（数据中心中运行的大型语言模型），计算系统对内存的要求越来越高。

为了满足这种需求，内存带宽和容量的提升至关重要，最新的HBM4技术不仅提升了内存带宽，还增强了能效，使得AI系统能够处理更复杂的大规模数据，推动AI的进一步发展。

高带宽内存（HBM）通过垂直堆叠多层芯片，将内存与处理器紧密连接在一起。这种设计能够缩短数据传输距离，提高速度，同时减少功耗。

与传统内存相比，HBM的独特优势在于其超高的带宽和能效，特别适合处理海量数据的AI系统。

Part 1

HBM4技术的优势和发布

JEDEC 仍需最终确定HBM4规范，但业界似乎需要尽快推出新的内存技术，因为对AI高性能GPU的需求是无止境的。

为了使芯片设计人员能够构建下一代GPU，Rambus推出了业界的HBM4内存控制器IP，其功能超越了迄今为止宣布的HBM4的功能。

不仅支持JEDEC指定的HBM4 6.4 GT/s数据传输速率，还具有支持高达10 GT/s速度的空间。这使得每个HBM4内存堆栈的内存带宽达到2.56 TB/s，具有2048位内存接口。

Rambus HBM4控制器IP可以与第三方或客户提供的PHY解决方案配对，以创建完整的HBM4内存系统。

Rambus正在与Cadence、三星和西门子等行业领导者合作，确保这项技术能够顺利融入现有的内存生态系统，促进向下一代内存系统的过渡。

JEDEC HBM4规范的初步版本表明，HBM4内存将采用4高、8高、12高和16高堆栈配置，支持24 Gb和32 Gb的内存层。使用32 Gb层的16高堆栈将提供64 GB的容量，使具有四个内存模块的系统的总内存容量达到256 GB。

此设置可通过8,192位接口实现6.56 TB/s的峰值带宽，从而显著提高苛刻工作负载的性能。

如果有人设法让HBM4内存子系统以10 GT/s的速度运行，那么四个HBM4堆栈将提供超过10 TB/s的带宽。

不过，Rambus和内存制造商通常会提供对增强（超越JEDEC）速度的支持，以提供空间并确保在标准数据传输速率下稳定且节能的运行。

HBM4是最新一代的高带宽内存技术，具有以下优势：

● 更大的内存密度：HBM4的内存密度更高，数据吞吐量更大。

● 更高的带宽：虽然每针速率从HBM3的9.2Gbps降至HBM4的6Gbps，但接口从1024位扩展至2048位，使得整体带宽显著提升。

● 更低的功耗：通过缩短数据传输距离和减少移动数据所需的能量，HBM4大幅提高了每瓦性能。

Part 2

HBM4如何推动AI系统的发展？

AI系统（特别是深度学习模型）需要处理大量并行计算任务，HBM4的高带宽设计使得数据能够快速传输，满足了AI模型对实时计算的需求。例如，在自动驾驶和自然语言处理等应用中，系统需要迅速处理大量信息，HBM4的高速性能恰好能够解决这一问题。

随着AI训练模型规模的扩大，数据中心的能耗也在增加。HBM4通过减少数据传输距离和功耗，大大提高了每瓦性能，这对大规模AI系统的可持续发展非常关键。

大型语言模型（LLM）的参数现已超过一万亿，并且还在不断增长，克服内存带宽和容量瓶颈对于满足AI训练和推理的实时性能要求至关重要。

业界首款HBM4控制器IP解决方案推向市场，在其最先进的处理器和加速器中实现突破性的性能。

当然随着内存密度的增加，信号的串扰问题变得更加严重。Rambus团队开发了多种创新方案，如2抽头DFE技术（决策反馈均衡器），来提高数据传输的精度，减少信号干扰。

设计新的封装结构，有效减少串扰，确保信号完整性，进一步提高系统的稳定性和可靠性。

HBM4将在大型语言模型（如GPT-4）以及其他数据密集型AI应用（如自动驾驶和计算机视觉）中发挥越来越重要的作用，可以支持更大的模型和更高效的数据处理，还能在节能和可扩展性方面为AI系统提供强有力的支持。

小结

HBM4技术的进步使得AI系统在面对复杂数据任务时，能够以更高效、更可靠的方式运行。