在今天的ignite开发者大会上，微软发布了两款专为其数据中心基础设施设计的新芯片：azure integrated hsm和azure boost dpu。
这些定制设计的芯片计划在未来几个月内发布，旨在解决现有数据中心面临的安全性和效率差距，进一步优化其服务器以应对大规模 ai 工作负载。微软此前已发布maia ai 加速器和 cobalt cpu，这是该公司全面战略的又一大步，该战略旨在重新思考和优化其堆栈的每一层（从芯片到软件），以支持先进的 ai。
入局dpu
过去几年，csp厂商都纷纷入局自研了dpu，但作为全球*的厂商，微软在这方面非常淡定，过去多年一直坚持在使用基于fpga打造的产品。但今天，他们终于披露了*自研的dpu产品。在微软看来，数据处理单元 (dpu) 针对需要以网络线速处理大量数据的任务进行了优化。可以作为以数据为中心的设备（如存储系统）的独立处理器运行。
据介绍，公司*dpu名为azure boost dpu ，旨在高效、低功耗地运行 azure 以数据为中心的工作负载。通过将传统服务器的多个组件整合到一块硅片中。azure boost dpu 将高速以太网和 pcie 接口以及网络和存储引擎、数据加速器和安全功能集成到一个完全可编程的片上系统中。
微软同时表示，azure boost dpu 专为 azure 基础架构构建，是一种软硬件协同设计，可运行自定义的轻量级数据流操作系统，与传统实现相比，可实现具有更高性能、更低功耗和更高效率的敏捷平台。
例如，与现有 cpu 相比，微软预计 dpu 运行云存储工作负载的功耗将降低三倍，性能将提高四倍。此外，基于 dpu 的系统添加了一个自定义应用程序层，该层利用 dpu 紧密集成的数据压缩、数据保护和加密引擎，为安全性和可靠性树立了新标准。
微软在分享的博客文章中写道：“azure boost dpu 专为 azure 上的横向扩展、可组合工作负载而设计，可为其云基础设施提供跨存储、网络、加速等方面的效率。”
谈到为何推出这颗dpu，微软在博客文章中指出，作为优化 azure 基础架构的全面方法的一部分，公司正在努力消除阻碍实现客户价值的基础架构限制 — 无论是性能瓶颈还是资源限制。我们正在从硅片到系统再到软件的每个层面进行创新，以增强基础架构的安全性、效率、性能、灵活性和规模。
微软认为，在云和人工智能时代，通过网络安全可靠地存储和移动大量数据已成为重大挑战。几年前，公司看到需要一种新的以数据为中心的处理器架构来补充大型数据中心使用的 cpu 和 gpu，以应对这些挑战。传统的 cpu 架构非常适合通用任务，但在处理与数百万个网络连接相对应的高度复用的数据流时却显得力不从心。另一方面，gpu 专门用于人工智能工作负载的核心大规模矢量和矩阵计算，因此它们也不太适合以数据为中心的工作负载。
这些观察结果促成了一类新型硅片的开发，即数据处理单元 (dpu)。
关于这些dpu的基准测试，微软并没有透露太多信息。azure boost dpu 在哪些工作负载上更节能，与哪些现有硬件相比，它的速度究竟更快？微软同样没有透露，也没有提到 azure 客户何时可以看到这些收益。
但我们可以知道的是，微软的azure boost dpu 可能起源于 fungible，这是一家 dpu 制造商，微软去年 12 月收购了该公司。据报道，微软以约 1.9 亿美元收购了这家由前苹果和瞻博网络工程师创立的公司。收购后，fungible 团队加入了微软的基础设施工程部门。
加码安全芯片
在推出自研dpu的同时，微软还发布了一颗新的安全芯片azure integrated hsm 。
对于云厂商有了解的读者应该知道，微软的竞争对手aws 和 google cloud 也构建了自己的内部安全芯片。虽然aws 的 nitro 安全芯片和 google cloud 的 titan“功能范围各不相同，但基本概念是相同的：为使用其服务的数百万用户提供完全安全的操作和数据环境。”
于是，微软全新的azure integrated hsm也亮相了。
据介绍，这是一款全新的内部云安全芯片，它允许将签名密钥（基本上是数字加密签名）和加密密钥（用于加密数据的位串）包含在安全模块中，“而不会影响性能或增加延迟”。微软指出：“从明年开始，azure integrated hsm 将安装在微软数据中心的每台新服务器上，以增强 azure 硬件集群对机密和通用工作负载的保护。”
azure integrated hsm 是微软继pluton之后推出的第二款安全芯片，pluton 是一款内置于英特尔、amd 和高通处理器中的面向消费者的芯片。这也是该公司对其云竞争对手专有k8体育的解决方案的回应。
定制芯片可以提高安全性，但并不是*的。2020 年，研究人员 发现 apple 的 t2 安全芯片中存在一个“无法修复”的漏洞，这可能会让 mac 面临该芯片旨在防范的威胁。微软没有提供有关 azure integrated hsm 漏洞测试的详细信息，但希望随着芯片的临近发布，微软会提供详细信息。
在备受瞩目的黑客事件和政府严厉批评报告曝光后，微软首席执行官萨蒂亚·纳德拉声称，安全现在是公司的首要任务。
根据微软的在一篇博客中所说，azure integrated hsm 旨在满足严格的联邦信息处理标准 (fips) 140-3 加密模块 3 级安全要求。azure integrated hsm 可在密钥和安全资产使用过程中保护这些资产。azure integrated hsm 具有专用的硬件加密加速器，可在加密、解密、签名和验证操作仍在集成 hsm 范围内时执行这些操作。
微软表示，典型的云 hsm 服务是网络上的集中式资源，可由云租户配置以向其各自的工作负载提供密钥服务。虽然这些模型提供了强大的密钥保护，但它们很难像其他资源（如计算）那样灵活地扩展。此外，当工作负载需要使用其密钥时，它们要么在调用网络连接的 hsm 服务时产生网络往返延迟，要么在其密钥策略允许的情况下，工作负载可能会请求从 hsm 释放其密钥并将其导入其本地环境。当密钥从 hsm 释放并导入工作负载环境时，提供的安全保护可能会低于 fips 140-3 3 级。
azure integrated hsm 则消除了在增加远程 hsm 服务的网络往返延迟与寻求从远程 hsm 释放密钥之间的传统权衡。作为安全绑定到工作负载环境的服务器本地 hsm，azure 集成 hsm 为机密和通用虚拟机和容器提供本地附加的 hsm 服务。这提供了业界*的使用中密钥保护的优势，而没有往返网络连接 hsm 调用的延迟缺点。
微软安全副总裁 vasu jakkal 也在一篇文章中写道：“在当今快速变化的威胁形势下，受全球事件和人工智能进步的影响，安全必须是首要考虑的问题。”“新的攻击方法挑战了我们的安全态势，迫使我们重新思考全球安全社区如何保护组织。”
定制带hbm的cpu
在发布了两颗in-house的芯片以外，微软这次大会还披露了一颗由amd定制的，带有 hbm3 内存的epyc cpu。
微软表示，对于许多 hpc 客户来说，标准服务器设计的内存性能已成为实现所需工作负载性能（洞察时间）和成本效率的*障碍。为了克服这一瓶颈，微软和 amd 合作开发了具有高带宽内存 (hbm) 的定制第四代 epyc 处理器。
据介绍，在新推出的azure hbv5 vm 虚拟机中，带有四个上定制的处理器，加上所有附加功能，单个 hbv5 vm 可提供 450gb hbm3、352 个 zen 4 核心（时钟频率高达 4ghz），以及普通 epyc cpu 上可用的两倍 infinity fabric 带宽。不过，smt（超线程）已被禁用。这些 vm 还具有 800gb/s 的 nvidia quantum-2 infiniband 用于网络交换。
按照tomshardware所说，四个 cpu 共有 352 个核心，每个 cpu 有 88 个核心，不过处理器上的每个核心可能并非都暴露给虚拟机。每个 zen 4 ccd 都有 8 个或 16 个核心，具体取决于它是 zen 4 还是 zen 4c；定制 cpu 要么使用 11 个 zen 4 ccd，要么使用 6 个 zen 4c ccd，其中一个 ccd 上的 8 个核心被禁用。更可能的是，cpu 有 96 个功能齐全的核心，其中 8 个保留用于操作虚拟机，可能充当编排或虚拟机管理程序的角色
得益于这些配置，能提供近7 tb/s （ 6.9 tb/s）的内存带宽。相比之下，与最新的裸机和云替代方案相比，这高出 8 倍，比 azure hbv3 和 azure hbv2（带有 3d v-cache“milan-x”的第三代 epyc 和第二代 epyc“rome”）高出近 20 倍，比接近硬件生命周期末期的 4-5 年 hpc 服务器高出 35 倍。
下图显示了 azure hbv5 vm 与前几代 azure h 系列 vm 的 stream 性能比较。
外媒tomshardware表示，这款“定制”的 amd cpu 可能也不是那么定制，因为它听起来很像去年传闻的 mi300c 芯片。在他们看来，这款 cpu 预计本质上是 mi300a apu，但专门配备 zen 4 ccd 而不是 cdna 3 显卡，从而允许使用带有 hbm3 的 96 核 cpu。mi300a 的 cpu 核心时钟频率高达 3.7ghz，与用于 hbv5 的 cpu 相差不远，这表明定制的 azure 处理器和 mi300c 可能是同一款。
然而，尽管 hbv5 cpu 在技术层面上可能不是定制的，但它仍然是微软的专属 cpu。“它仅在 azure 上可用，”微软工程师 glenn lockwood 在bluesky上回答一位用户想知道 amd cpu 是否会成为常规 epyc cpu 时如是说。
值得一提的是，如上所说，在这颗cpu中，他们集成了常见于gpu的hbm。
针对这个做法，amd 内存工程师 phil park 表示，为什么我们没有早点看到epyc hbm？因为epyc 一直专注于大批量市场，这就是为什么你看不到超过 2 个插槽的 epyc。park 在bluesky上发帖称。“你不能换掉你的 ddr5 控制器，添加 hbm 控制器/堆栈，然后就完事了。hbm 强制某些设计选择（例如，每个 hbm3 堆栈都需要 16 个 64 位通道）。”park接着说。
换而言之，考虑到灵活性，所以我们很少在cpu中看到hbm。因为如果你使用 了hbm，您无法升级容量，也无法获得具有更少通道的低成本版本。而且，通常cpu 不需要那么大的带宽。
不过，我们也必须承认的是，英特尔其实早就已经推出了基于 sapphire rapids 的 hbm 注入 cpu，称为 xeon max，用于aurora 超级计算机，并且也普遍可用。
投资芯片初创公司
在自研和定制芯片以外，微软还通过投资芯片公司，扩展其芯片布局。例如，近年来投资的，叫板英伟达的芯片初创公司d-matrix，就是其最新杰作。
d-matrix 由 sid sheth 和 sudeep bhoja 于 2019 年创立，总部位于加利福尼亚州圣克拉拉。该公司已筹集 1.54 亿美元，并得到 25 多家公司的支持。新加坡淡马锡是最新 b 轮融资的领投方。微软的风险投资基金 m12 也是投资者之一。
据该公司所说，d-matrix 正在利用内存计算 (imc) 技术与芯片级横向扩展互连，构建一种进行数据中心 ai 推理的新方法。公司也将利用创新的电路技术、ml 工具、软件和算法攻克了内存计算集成的物理问题；解决了内存计算集成问题，这是 ai 计算效率的最终前沿。
近日，d-matrix 也终于推出 corsair，用于无需 gpu、hbm 的 ai 推理，直接叫板英伟达。从设计上看，corsair 采用行业标准的 pcie gen5 全高全长卡外形，通过 dmx bridge 卡连接成对的卡。每张 corsair 卡都由多个 dimc 计算核心驱动，具有 2400 tflop 的 8 位峰值计算能力、2gb 的集成性能内存和高达 256gb 的片外容量内存。dimc 架构可提供 150tb/s 的超高内存带宽。
按照他们所说，这是全球最高效的数据中心 ai 推理平台。在单台服务器中 llama3 8b每秒处理 60,000 个tokens，每个tokens的延迟为 1 毫秒。因此，该公司声称，与 gpu 和其他替代方案相比，corsair 提供了性能、能源效率和成本节省。
众所周知，使用生成式人工智能（称为推理处理）是一项内存密集型操作。它需要大量内存，也需要非常快的内存，但两者兼顾确实很难。与处理器位于同一芯片上的 sram 内存比，堆叠在 gpu 或加速器上的高带宽内存快一个数量级。但 sram 要小得多，因此很难处理可能具有数千亿个参数的模型。d-matrix 有一个独特的k8体育的解决方案，可以赢得这场拉锯战。
d-matrix 采用混合内存方法，似乎能带来出色的效果，使用 sram 作为“性能内存”，使用更大的 dram 存储器作为“容量内存”。性能内存用于需要低延迟交互的在线操作，容量内存用于离线工作。
corsair 还配备了高达 256 gb 的片外容量内存 (dram)，可在不需要低延迟的离线用例中支持 gen ai 工作负载。在容量模式下，corsair 支持大型模型、大型上下文长度和大型批处理大小。例如，具有 8 张 corsair 卡的服务器可以容纳超过 1 万亿个参数的模型。
据介绍，corsair 基于采用 6nm 制造工艺技术实现的 nighthawk 和 jayhawk ii 芯片。nighthawk 包含四个神经核心和一个 risc-v cpu。
相关信息显示，d-matrix的每个 jayhawk ii 芯片组都包含一个 risc-v 内核来管理它，32 个 apollo 内核（每个内核有 8 个并行运行的 dimc 单元），256 mb sram，带宽为 150 tb/s，两个 32 位 lpddr 通道和 16 个 pcie gen5 通道。内核使用带宽为 84 tb/s 的特殊片上网络连接。每个带有 32 个 apollo 内核/256 个 dimc 单元和 256 mb sram 的芯片组可以以超过 1 ghz 的速度运行。
据techinsights称，每个 dimc 核心每周期可执行 2,048 次 int8 乘法累加 (mac) 运算。每个核心还可以使用行业标准 (int8、int32、fp16、fp32) 和新兴专有格式 (块浮点 12 [bfp12]、bfp16、sbfp12) 处理 64 × 64 矩阵乘法。
如上所述，该芯片已经配置为使用数字内存计算（dimc）和包括块浮点（bfp）在内的各种数据类型来解决大模型推理。
据d-matrix此前介绍，这个新型 dimc 架构通过紧密集成计算和内存打破了内存壁垒。片上内存计算复合体的集成性能内存以其 150 tb/s 的超高带宽实现了快速令牌生成，比目前可用的 hbm-3e 高出一个数量级。在性能模式下，gen ai 模型可适应性能内存，与使用 hbm 的替代方案相比，可实现高达 10 倍的交互延迟。
同时，d-matrix 也是业内首批原生支持块浮点数值格式的公司之一，该格式现已成为一种称为微缩放 (mx) 格式的 ocp 标准，可提高推理效率。分层内存创新与 d-matrix 的 aviator 软件堆栈集成在一起，为 ai 开发人员提供熟悉的用户体验和工具。
d-matrix 联合创始人兼首席执行官 sid sheth 表示：“我们预见到了transformers和生成式人工智能的到来，并成立了 d-matrix 来解决我们这个时代*的计算机会所带来的推理挑战。首创的 corsair 计算平台为具有多个用户的高交互性应用程序带来了极快的tokens生成速度，使 gen ai 具有商业可行性。”
d-matrix 断言，推理软件代理（agentic ai）和交互式视频生成的出现是 ai 能力和功耗的下一步提升，从而引发对改进处理架构的需求。
corsair 利用chiplet 封装以及内存和计算的紧密集成，而 d-matrix 则提供 aviator 软件堆栈来支持 ai 开发人员。
我们也知道，访问额外性能内存容量的另一种方法是通过扩展，将许多 corsair 集群在一起。扩展是使用基于芯片的架构实现的，该架构具有 dmx link 以实现高速节能的芯片到芯片连接，以及 dmx bridge 以实现卡到卡连接。
