作者 | 方文三
通用和GPU办事平台在功耗和散热受限的终端上的应用，其差别性需求难以应答用例严苛且多样化的计较请求。
是完成AI PC各项性能的条件，终端异构混杂（CPU+NPU+GPU）算力或许是AI规模化落地的请求。
[CPU+NPU+GPU]将成为AI PC的算力基座
分歧范例的长于的事情畛域各别，这正是异构计较的焦点道理——让业余的人做业余的事。
CPU长于次第操纵，适用于需求低延时的场景，同时也可以或许处置较小的传统模子，如（CNN）或特定的大言语模子（LLM）。
而GPU更长于处置高精度花样的并行使命，例如对画质请求极高的视频和游戏。
CPU和GPU作为通用处理器，设想灵巧，易于编程，首要担任操纵体系、游戏和其余使用。
然而，关于处置大规模的神经网络计较，CPU的服从相对于较低。
NPU则接纳数据驱动的架构，模仿人类神经元和突触，分外长于处置视频、图象等海量多媒体数据。
与遵照冯诺依曼架构的CPU和GPU分歧，NPU经由过程突触权重完成存储计较一体化，运转服从更高，特别长于推理。
鉴于终端的功耗和散热限定，通用CPU和GPU难以餍足天生式AI使用严苛且多样化的计较需要。
这些使用不息演进和多样化，繁多安排其实不正当。
是以，NPU和异构计较成为硬件厂商应答终端侧天生式AI挑衅的关头。
值得注重的是，虽然GPU在并行计较才能上拥有上风，但仍需与CPU协同事情。
神经网络模子的构建和数据流通报主要在CPU上实现。
然而，GPU存在功耗高、体积大、价钱低廉等缺点。
功能越高的GPU功耗越高，体积越大，价钱也越昂扬，这使得一些小型设置装备摆设和挪移设置装备摆设无奈应用。
NPU将在AI PC落地生花
网络处置单位（NPU）可以或许基于网络运算的特点，借助或硬件编程，完成多样化的网络性能。
相较于传统的（CPU）和（GPU），NPU在施行神经网络使命时展现出更高的服从和更低的功耗。
与（）相比，NPU在本钱方面更具上风。
尽管FPGA在灵活性和可编程性方面异样卓越，但支流的FPGA制程节点通常在14纳米至45纳米之间；
而NPU的制程节点每每低于10纳米，是以更适合应用于小型、的花费级设置装备摆设，如小我私家电脑和手机等。
在软件层面，NPU具有与支流软件的高度兼容性。经由过程标准化的接口，如OpenCL、CUDA、OpenVX等，NPU可以或许轻松与种种框架举行交互，并顺遂集成到分歧的软件环境中。
这使得开发者在模子开辟和安排方面加倍便捷，同时支撑多种编程语言和框架，进一步降低了开辟门坎。
综上所述，NPU的高效能、低功耗、易于编程以及普遍的软件兼容性，使其成为野生智能使用中弗成或缺的关头组件。
趋向看好，各大厂纷纭推出相干产物
英特尔近期宣布了第14代酷睿Ultra挪移处理器，该处理器内置了神经网络处置单位（NPU）。
据英特尔民间吐露，预计至2024年，将有跨越230款机型搭载这款酷睿Ultra处理器。
另外一方面，苹果计划在2024年宣布搭载M3处理器的MacBook。
据该公司吐露，M3处理器的NPU功能相较于前代产物M1提升了60%。
另外，AMD亦将在2024岁首年月正式推出其首款内置自力NPU的锐龙8040处理器。
AMD暗示，该处理器的到场使得大言语模子功能提升了40%。
值得一提的是，AMD于2023年12月领先宣布了锐龙8040系列处理器。这一系列处理器的焦点变迁之一就是新增了AI计较单位。
随后，英特尔亦宣布了其新一代酷睿Ultra挪移处理器。
这款处理器是英特尔40年来的首款内置NPU的产物，旨在在PC上供应高效能的AI加快和当地推理体验。
此举被业界视为英特尔客户端处理器路线图的庞大转折点。
英特尔将NPU、CPU和GPU配合视为AI PC的三个核默算力引擎。
据公司展望，至2024年，将有跨越230款机型搭载酷睿Ultra处理器。
另外，微软计划在Windows 12中为AI PC设定最低门坎，请求至多具有40TOPS的算力和1B的内存。
是以，PC芯片算力达到40TOPS门坎将成为行业的首要目的。
[算力融会]只是美妙的现实
在GPU畛域，英伟达RTX系列、AMD RX7000系列以及英特尔ARC系列均内置自力的AI计较单位。
然而，英伟达其实不出产花费级PC CPU，是以其显卡AI性能更新首要环抱显卡自身，如AI视频超分、AI颜色强化、AI音频降噪及AI语音聊天等，好像主意[AI PC仅需显卡算力]。
英特尔ARC虽有XMX矩阵计较单位，但新一代集成于CPU的ARC已作废此设想，使其MTL架构CPU仅依附内置NPU作为自力AI计较单位。
即便搭配ARC独显，亦无奈完成核显与独显的[叠加]。
AMD在CPU中接纳源自其企业级计较卡的XDNA成熟架构作为NPU单位，理论上拥有软件适配上风。
然而，在RDNA 3独显架构中，AMD好像采用了分歧的AI单位设想，致使还没有完成基于AI代码的游戏画面超分性能。
此前许多显卡AI用例首要依附GPU自身的浮点算力，相较于仅应用显卡内置AI单位的处置体式格局，功耗更高。
理论上，CPU、GPU和NPU都可介入AI运算，并依据代码范例和使命负载完成主动调配的[异构协同]设想，如马上上市的骁龙X Elite系列所示。
然而，这类协同运算的完成遭到以后硬件计划[各自为战]的产物组成限定。
英特尔和AMD将来大概经由过程架构批改解决[算力不对立]题目，而英伟达虽无花费级x86 CPU产品线，但仍有大概经由过程ARM CPU进入Windows on ARM生态。
末端：
依据现有证据，NPU因其对神经网络计较的怪异优化，在端侧和边缘侧处置庞杂时展现出卓着的服从与节能特点。
这一征象正推进AI手机、AI PC及端侧AI市场的倏地进展，预示着NPU的大规模商用时期马上到来。
部份材料参考：
三易生存：《CPU、GPU、NPU，终究谁才是[AI PC]的配角？》，中国电子报：《AI PC元年将至，NPU究竟怎样用？》，国际电子商情：《一文看懂神经网络处理器(NPU)：AI算力加快的新方向》，DeepTech深科技：《GPU以后，NPU再成标配，手机、PC若何承载？》，行业视察：《为什么都盯上了NPU？》，科技行者：《为何AI PC需求颗壮大的NPU？》，与非网：《与GPU双向奔赴，NPU马上开启大规模商用时期》，电子发烧友网：《天生式AI加快向终端侧演进，NPU、异构计较供应强支撑》
