英特尔软硬协同，优化阿里云通义千问2 AI模型

始终以来，英特尔致力于与行业当先、立异的生态火伴开展分工，并针对举行优化。近日，英特尔发布其、客户端和边缘的AI解决计划为阿里云通义千问2(Qwen2)的环球宣布供应支撑。

英特尔公司副总裁兼数据中央与野生智能软件总经理Pallavi Mahajan和英特尔数据中央与野生智能集团副总裁兼中国区总经理陈葆立暗示，在阿里云推出通义千问2大模子的当日，英特尔即为客户和开辟职员供应了针对该AI模子和软件而优化的AI解决计划。

软件优化

为了最大限度地晋升诸如阿里云通义千问2的大模子服从，周全的软件优化异常首要，此中包孕从高功能融会算子到均衡精度和速率的进步前辈量化手艺。另外，英特尔还接纳KV Caching、PagedAttention机制和张量并行来进步推理服从。英特尔的硬件可利用软件框架和工具包举行加快，并取得卓越的大模子推理功能，此中包孕PyTorch和英特尔® PyTorch扩大包、OpenVINO™工具包、DeepSpeed、Hugging Face库和vLLM。

英特尔与阿里云在数据中央、客户端以及边缘平台上的AI软件优化，有助于构建一个立异的生态环境，且截至今朝，已取得了包孕ModelScope、阿里云PAI、OpenVINO等在内的诸多立异结果。得益于此，阿里云可在多样化的计较环境中举行优化。

测试效果：英特尔® Gaudi AI加速器

英特尔Gaudi AI加速器专为天生式AI以及大模子的高性能加快而设想。应用最新版本的英特尔Gaudi Optimum，能够轻松安排新型号的大模子。在英特尔Gaudi 2上对70亿参数和720亿参数的通义千问2模子的推理和微调吞吐量进行了基准测试，以下为细致功能目标和测试效果。

表1. 70亿参数的通义千问2在单颗英特尔Gaudi 2加速器上的推理

表2. 720亿参数的通义千问2在8颗英特尔Gaudi 2加速器上的推理

表3. 通义千问2 FP8在英特尔Gaudi 2加速器上的推理

表4. 通义千问2在英特尔Gaudi 2加速器上的微调

测试效果：英特尔®至强®处理器

英特尔®至强®处理器作为通用计较的基石，为环球范围内的用户供应壮大的算力。英特尔至强处理器拥有普遍可用性，适用于各个范围的，这使其成为那些但愿可以或许倏地安排AI解决计划，又无需配备专项根底办法企业的现实抉择。英特尔至强处理器的每一个焦点均内置了英特尔®高等矩阵扩大(英特尔AMX)，可处置多样化的AI事情负载并加快AI推理。下图揭示了英特尔至强处理器所供应的耽误功能可餍足多种用例。

图1. 在基于第五代英特尔®至强®可扩大处理器的阿里云ecs.ebmg8i.48xlarge实例上，通义千问2的下一个推理token耽误

AI PC

由最新英特尔®酷睿™ Ultra处理器和英特尔锐炫™显卡驱动的AI PC让AI的气力涉及客户端和边缘，使开发者在当地也能安排大模子。AI PC配备了特地的AI硬件，如神经处置单位和内置的英特尔锐炫™显卡，或配备了英特尔® Xe Matrix Extensions加快的英特尔锐炫™A系列显卡，以处置高需要的边缘AI使命。这类当地处置才能可完成个性化的AI体验，加强隐衷性，并供应倏地呼应时候，这关于交互式使用步伐相当首要。

如下展示了15亿参数的通义千问2，在基于英特尔®酷睿™Ultra的AI PC上运行时所揭示的壮大功能。

Demo 1. 在内置英特尔锐炫™显卡的英特尔®酷睿™ Ultra 7 165H上，通义千问2的推理

表2. 在内置英特尔锐炫™显卡的英特尔®酷睿™ Ultra 7 165H AI PC上，通义千问2的下一个token耽误

表3. 在由英特尔锐炫™ A770 16GB限量版驱动的AI PC上，通义千问2的下一个token耽误