NPU与GPU：有什么区别？

神经处理单元(NPU)和图形处理单元(GPU)是许多现代设备（包括智能手机和台式电脑）中常见的两种芯片。它们都可以加速机器学习和 AI 工作负载，但图形处理器的主要作用是 3D 渲染。以下是这两种常见芯片之间的其他区别。

NPU 和 GPU 并存于各种设备中，但 NPU 不如 GPU 常见，因为任何带有某种显示器的设备都需要 GPU。这两种处理器还执行不同的任务。

图形芯片主要用于 3D 渲染，无论是笔记本电脑的主屏幕还是智能手机游戏。它还可以加速 AI 工作负载。

然而，NPU 专门用于加速 AI 工作负载。

GPU 可以是CPU或 SoC 的一部分，它们与其他组件共享系统内存。但是，它们也可以是笔记本电脑和平板电脑中的独立 GPU，或者台式电脑中的独立附加显卡。在这些情况下，GPU 有自己的专用内存，称为 VRAM。

NPU 也可以内置于 CPU 或 SoC 中，或者独立存在，但它们始终共享系统内存并且没有专用的 RAM。

NPU 的优点和缺点

NPU 每一代都变得越来越快，使其能够更有效地在本地处理生成式 AI 和机器学习任务。

最新一代 NPU 比前代产品强大得多，但与高端专用显卡的性能相比仍有很大差距。

Snapdragon X Elite 芯片是现代 SoC 上速度最快的新型 NPU 之一。它每秒可提供约 45 万亿次运算 (TOPS)。而AMD 声称其下一代 Ryzen 9000 CPU 上由 RDNA3.5 驱动的 AI 加速器可以实现高达 50 TOPS 的运算速度。

Nvidia 还声称其 GPU 的运行速度可达 1,000 TOPS。

尽管如此，NPU 的一个主要优势是它们可以独立于 CPU 和 GPU 等通用硬件运行，处理 AI 计算，而其他硬件则执行更相关的任务。它们消耗的电量也比 CPU 和 GPU 少得多。CPU 和 GPU 可能需要数百瓦才能运行，而 NPU 只需要几瓦，在某些情况下甚至只需要几分之一瓦，这使得它们的效率更高。

GPU 的优点和缺点

图形处理单元（GPU）并非专门为 AI 加速而设计，尽管它们在这方面表现得特别好。据图形芯片制造商 Nvidia 称，最新一代 GPU 在 AI 计算方面的表现可以达到最佳 NPU 的 10 倍甚至 20 倍，但它们确实需要数百瓦的功率才能实现这一目标。

相比之下，NPU 仅消耗几瓦（如果有的话），这使得它们在机器学习任务中效率更高。

然而，GPU 主要用于 3D 渲染，而 NPU 却做不到这一点。GPU 是渲染游戏的最佳工具，可加速 CAD 等 3D 工作负载，而 NPU 则更具定制性。

AMD、英特尔和 Nvidia 的最新一代图形芯片还包含专用的硬件和软件增强功能以加速 AI 任务，因此即使 NPU 在现代计算中作为机器学习加速的专用工具找到了一席之地，它们也可能继续提高 AI 性能。

GPU 和 NPU 是两种功能强大的硬件，设计时考虑到了不同的作用。显卡在 3D 渲染方面非常出色，必要时可用于高速 AI 计算。然而，与 NPU 相比，它们的效率非常低，NPU 可以更慢地完成类似任务，但功耗要求要低得多。

因此，NPU 更适合在需要 AI 功能的消费设备中边缘部署。

NPU多用于端侧和边缘侧

与云侧不同的是，端侧对于功耗更加敏感，对低功耗芯片的需求更明显。因此，随着人工智能应用场景陆续落地，NPU易开发、高效能、低功耗等优势逐渐突显。业内普遍认为，在大算力需求爆发下，云侧的算力需求将传递至端侧。目前，实现智能终端算力的最常用方式是在SoC芯片中内置NPU模块。

NPU是专门为人工智能应用而设计的芯片，目前看NPU通常用于边缘侧和端侧场景更多，比如人脸识别、人脸解锁、影像处理等。

AIPC有望在2024年批量上市，而AIPC普遍搭载NPU，与CPU、GPU共同构成AIPC核心算力。

英特尔近期发布了内置NPU的第14代酷睿Ultra移动处理器。英特尔表示，2024年，将有230多款机型搭载酷睿Ultra。苹果也将在2024年发布搭载M3处理器的MacBook，并透露其M3处理器的NPU性能相较于M1提升了60%。

手机端则更早开始搭载NPU，华为最早在Mate10采用寒武纪NPU，后在990系列上采用自研的达芬奇NPU。苹果从A11 SoC开始加入Neuralengine，最新公布的A14 SoC中，NPU算力已有巨大提升，Neuralengine结合CPU上的机器学习加速器能够大大提高AI应用体验。

除智能手机、AIPC外，在汽车、边缘侧如XR及各类物联网智能终端中，NPU也有应用。随着大模型走进千行百业，端侧AI、边缘侧AI渗透率提升，也将带来更多NPU需求。