将光学技术引入GPU

如果将过多的铜线捆扎在一起，最终会耗尽空间——前提是它们不会先熔合在一起。人工智能数据中心在GPU和内存之间传输数据的电子互连方面也面临着类似的限制。为了满足人工智能的海量数据需求，业界正在转向更大尺寸、更多处理器的芯片，这意味着在机架内实现更密集、更长距离的连接。初创公司正在展示 GPU 如何摆脱铜互连，用光纤链路取而代之。

光纤链路对数据中心来说并不陌生。它们使用可插拔收发器在机架之间传输数据，将电信号转换为光信号。为了提高能源效率，“将光学元件集成到芯片封装中一直是一个梦想，”加州大学圣巴巴拉分校电气工程教授克林特·肖( Clint Schow)表示。这就是共封装光学器件（CPO），科技巨头们正在全力支持它。英伟达最近宣布量产一款网络交换机，该交换机使用嵌入在与交换机同一基板上的光子调制器。“这震惊了整个行业，”加州桑尼维尔初创公司Avicena的首席执行官巴迪亚·佩泽什基 (Bardia Pezeshki) 表示。

哥伦比亚大学电气工程教授、Xscape Photonics联合创始人Keren Bergman解释说， Nvidia 的声明令人兴奋，因为它将光子技术引入了机架内部。但Nvidia目前只计划将光子技术引入网络交换机。Avicena和其他初创公司正在挑战“光学技术在成本、可靠性和功率效率方面不足以取代机架内铜缆”这一观点。他们将光学互连直接连接到 GPU 和内存封装上。Bergman 表示，即使是这些最终长达一米的链路，也需要比铜缆所能提供的更大的带宽。同样的基础技术“可以直接连接到 GPU”，使光学器件更靠近数据源，并允许它们从芯片封装本身传输带宽。

初创公司创新光互连

多家初创公司一直在致力于替换 GPU 旁边的铜互连线路。其中几家公司已经着手研发使用名为微环谐振器的波导芯片，将数据通道编码到来自外部激光器的光波上，并在接收端口过滤合适的波长。这与英伟达在其 CPO 交换机上采用的基本光子技术相同——哥伦比亚大学的伯格曼表示，这“意义重大”。但不仅仅是一个 r谐振器，很多初创公司都在使用。

上个月，Ayar Labs宣布推出 GPU 之间的光学互连，其中采用了标准开源UCIe电气接口。

“这是业界首创，”首席技术官兼联合创始人 Vladimir Stojanovic 表示。UCIe 构成 GPU 和TeraPhys 光学芯片之间的封装电气链路。芯片将数字信号的副本传输到单模光纤中，将通信距离延长至 2 公里。“一个 GPU 与另一个 GPU 通信时甚至不知道它正在离开封装，”Stojanovic 说道。Ayar Labs 的SuperNova 光源将 16 种波长馈送到每根光纤上。谐振器对 8 个输入和 8 个输出光纤端口中的每一个执行波分复用，在 GPU 之间形成 256 个数据通道，总计 8 Tbps。使用 UCIe 协议可实现完全模块化设计。“任何芯片制造商都可以将其安装上去并拥有一个光学转换器，”Schow 解释道。

总部位于加州山景城的初创公司LightMatter宣布了类似的 GPU 间光学链路产品：Passage L200。它使用Alphawave Semi 的芯片来实现 UCIe 接口——但不是将它们并排构建，而是使用标准的晶圆上芯片技术将它们堆叠在光学电路的顶部。Lightmatter 副总裁 Steve Klinger 表示：“采用 3D 意味着你不必尝试将电信号路由到芯片边缘之外。”

该公司展示了Passage M1000的完全集成版本，这是一种由 8 个这样的构建块组成的光学中介层。每个部分都位于 GPU 或内存块下方——通过极短的 UCIe 连接直接安装在顶部。光纤将光信号从中介层路由出去。

Schow解释说：“L200采用模块化方式集成光学元件，而M1000则更具进取精神。” 后者利用电子器件局部解决带宽问题，并通过光学器件解决封装间问题。但Stojanovic观察到，“他们尚未进行演示。”

伯格曼的公司Xscape Photonics位于加州圣克拉拉，该公司更进一步，无需外部光源，将频率梳激光器直接集成到芯片上。“我们可以将激光器和链路集成到一起，”伯格曼说道。去年 10 月，该公司获得了 4400 万美元的融资，用于扩大ChromX 平台的产量。ChromX 平台是一个多色平台，可以最大限度地解决高带宽数据从芯片中传输出去所固有的“逃逸带宽”问题。

如果将过多的铜线捆扎在一起，最终会耗尽空间——前提是它们不会先熔合在一起。人工智能数据中心在GPU和内存之间传输数据的电子互连方面也面临着类似的限制。为了满足人工智能的海量数据需求，业界正在转向更大尺寸、更多处理器的芯片，这意味着在机架内实现更密集、更长距离的连接。初创公司正在展示 GPU 如何摆脱铜互连，用光纤链路取而代之。

光纤链路对数据中心来说并不陌生。它们使用可插拔收发器在机架之间传输数据，将电信号转换为光信号。为了提高能源效率，“将光学元件集成到芯片封装中一直是一个梦想，”加州大学圣巴巴拉分校电气工程教授克林特·肖( Clint Schow)表示。这就是共封装光学器件（CPO），科技巨头们正在全力支持它。英伟达最近宣布量产一款网络交换机，该交换机使用嵌入在与交换机同一基板上的光子调制器。“这震惊了整个行业，”加州桑尼维尔初创公司Avicena的首席执行官巴迪亚·佩泽什基 (Bardia Pezeshki) 表示。

哥伦比亚大学电气工程教授、Xscape Photonics联合创始人Keren Bergman解释说， Nvidia 的声明令人兴奋，因为它将光子技术引入了机架内部。但Nvidia目前只计划将光子技术引入网络交换机。Avicena和其他初创公司正在挑战“光学技术在成本、可靠性和功率效率方面不足以取代机架内铜缆”这一观点。他们将光学互连直接连接到 GPU 和内存封装上。Bergman 表示，即使是这些最终长达一米的链路，也需要比铜缆所能提供的更大的带宽。同样的基础技术“可以直接连接到 GPU”，使光学器件更靠近数据源，并允许它们从芯片封装本身传输带宽。

数据传输革命

Juniper Networks和Fungible的联合创始人（现就职于微软）的Pradeep Sindhu对此持怀疑态度。在集群中，如果需要在大量 GPU 之间建立灵活的点对点链接，那么每个可切换数据通道的粒度就很重要。点对之间的一条粗管道是不够的。相反，您需要许多更小的管道，而每根光纤的带宽太多会降低灵活性。例如，连接 512 个 GPU（每个 GPU 通过 200 Gbps 通道链接到 64 个交换机）的宏伟目标需要超过 30,000 个连接。Sindhu 说：“如果将 16 个波长塞进一根光纤，如何将这么多 GPU 连接到这么多交换机？” 答案之一是使用数量更少、功能更强大的电子解析粗管道的交换机，但这会将冗余换成单点故障。此外，多波长激光器还引发了成本、能源效率和可靠性方面的担忧。

另一种方法则避开了这两个问题。Avicena 使用数百个通过成像光纤连接的蓝色 MicroLED来传输数据。Pezeshki 解释说：“如果你用摄像头看电视，你就拥有了一种无需激光器的光学连接。” Avicena 的光学芯片集成了一个小型 MicroLED 显示屏和一个微型摄像头，其帧速率令人难以置信，该技术已在基于 10 Gbps/通道帧速率的模块化 LightBundle 平台中发布。每个包含 300 个MicroLED的显示屏累计传输速率达 3 Tbps，但粒度却非常高。Pezeshki 表示，消除激光器可以降低可靠性风险、成本和复杂性，并将能耗提升五倍。Sindhu 表示：“我乐观地认为 MicroLED 将成为未来的领先技术。”

光通信市场研究公司LightCounting的首席执行官Vladimir Koslov对这些初创公司的演示表示赞赏。“有些公司会成功，”他说道。但通往市场的道路“不是短跑，而是一场马拉松”。此外，铜缆仍然有效。他认为，在未来几年内，CPO将仅限于交换机，因为这是行业的目标。“我认为，直到下一个十年初，我们才能在GPU上看到它（CPO），”他说道。

Sindhu 表示，以廉价、低功耗且可靠的方式连接足够多的 GPU 是“这个时代最重要的封装难题”。无论谁解决了这个问题，人们都会回顾。“胜者为王，”他说道。