英特尔面向中国市场推出深度学习加速器Gaudi2 打造大规模部署AI更优解

随着AI渗透到千行百业，AI产业的市场规模持续增长，走在数字化、智能化前列的中国市场在AI领域也有强劲发展势头。有调研数据显示，2022年中国AI行业市场规模为3716亿元，预计到2027年增加到15372亿元，并深度赋能制造、交通、金融、医疗等领域。

AI行业的快速发展对于“数据、算力、算法”三大发展要素也提出了更迫切的需求。特别是进入2023年后，从ChatGPT的爆火到大模型的“百模齐放”，增加AI算力成为关键，直接带动了AI服务器、AI芯片需求上涨。此前TrendForce集邦咨询预估2023年AI服务器(包含搭载GPU、FPGA、ASIC等)出货量近120万台，年增38.4%，占整体服务器出货量近9%，至2026年将占15%。并且，TrendForce上修2022~2026年AI服务器出货量年复合成长率至29%。与此同时，AI芯片的2023年出货量将增长46%。

在机遇面前，对于国内布局AI的企业而言，更需要符合本土化需求的产品及解决方案。持续深耕AI领域的英特尔，目前已经构筑了从产品端到生态的全面AI布局，包括开放式软件环境、通用计算处理器以及专用于深度学习训练和推理的深度学习加速器。在年初发布英特尔第四代至强可扩展处理器时便提到，凭借内置英特尔高级矩阵扩展(英特尔AMX)加速器，相比上代将PyTorch实时推理和训练性能提升了10倍;英特尔至强CPU Max系列还针对自然语言处理进行了扩展，将大型语言模型的处理速度提升多达20倍。另外，借助英特尔的AI软件套件，开发者可以使用自己选择的AI工具，提高生产力并加快AI开发速度。

7月11日，在英特尔AI产品战略暨Gaudi2新品发布会上，英特尔正式面向中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2，丰富英特尔从云到端产品组合。据英特尔介绍，Gaudi2致力于以领先的性价比优势，加速AI训练及推理，为中国用户提供更高的深度学习性能和效率，从而成为大规模部署AI的更优解。

Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B，以第一代Gaudi高性能架构为基础，采用7nm制程工艺，HL-2080处理器拥有24个可编程Tensor处理器核心(TPCs);集成96GB HBM2e内存容量和48MB SRAM，内存带宽达到2.4TB/s;提供21个100Gbps RoCE v2 RDMA端口，具备2.1Tbps网络容量可扩展性;集成专用媒体处理器，可用于图像、视频的解码和预处理;TDP 600W。

Gaudi2具备更出色性能、可扩展性以及能效，面向大规模生成式AI和大预言模型等应用场景提供更高性价比。

在6月份公布的MLCommons MLPerf基准测试众，Gaudi2在GPT-3模型、计算机视觉模型ResNet-50(使用8个加速器)、Unet3D(使用8个加速器)，以及自然语言处理模型BERT(使用8个和64个加速器)上均取得了优异的训练结果。

对比NVIDIA A100，Gaudi2在MLPerf Training 3.0基准测试中(以BF16数据类型提交)，四种不同模型均有性能优势，性价比更高，并且英特尔提到Gaudi2的每瓦性能约为A100的2倍。值得关注的是，未来到9月份预计性价比还将超过H100。英特尔也提到，Gaudi2是为数不多的能替代NVIDIA H100进行LLM训练的可靠方案，帮助客户增效降本。

在最近的Hugging Face评估中，Gaudi2在大规模推理方面的表现，包括在运行Stable Diffusion2、70亿以及1760亿参数BLOOMz3模型时，也能保持行业内领先。

此外，Gaudi2还具备出色的可扩展性。在Stable Diffusion训练上，Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。此外，MLCommons刚刚公布的MLPerf训练3.0结果，亦验证了Gaudi2处理器在1750亿参数的GPT-3模型上，从256个加速器(训练时间442.6分钟)到384个加速器(训练时间311.9分钟)可实现接近线性的95%扩展效果。

不仅是硬件，软件方面英特尔也在同步跟进。为支持客户轻松构建模型，或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器，并帮助保护软件开发投入，提供SynapseAI软件套件针对Gaudi平台深度学习业务进行了优化，旨在与广泛的软件生态系统一起，帮助简化模型的开发和迁移。SynapseAI集成了对TensorFlow和PyTorch框架的支持，并提供众多流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。

英特尔执行副总裁兼数据中心与人工智能事业部总经理Sandra Rivera表示：“英特尔致力于通过为客户提供广泛的硬件选择，并支持开放的软件环境，加速人工智能技术的发展。凭借包括至强可扩展处理器和Gaudi2深度学习加速器在内的产品组合，英特尔正在降低人工智能的准入门槛，并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力，从而帮助构建中国人工智能的未来。”

在本次发布会上，还展示了英特尔与浪潮信息合作，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。这款6U的AI服务器集成了8颗Gaudi2加速卡HL-225B，以及双路第四代至强可扩展处理器;提供32个DDR5内存插槽，最高支持8TB内存;具备12个PCIe 5.0 x16插槽，支持OCP 3.0\NCSI;配备N+N冗余的钛金或铂金电源，支持也加主流AI框架、开发工具和大模型算法。