微软上线 Azure H200 v5 系列 AI 虚拟机：吞吐量提升 35%

IT之家

IT之家 10 月 8 日消息，微软公司于 10 月 2 日发布博文，宣布面向客户和合作伙伴，正式开放 Azure H200 v5 系列虚拟机，帮助企业应对日益繁重的 AI 工作负载需求。
微软在博文中表示：“H200 v5 系列虚拟机，通过规模、效率和增强性能等，推动客户和 Microsoft AI 服务（如 Azure 机器学习和 Azure OpenAI 服务）普及和落地”。
OpenAI 的基础设施负责人 Trevor Cai 表示，OpenAI 正在利用新的虚拟机系列推动研究和开发，并为用户微调 ChatGPT。
Cai 表示：“我们很高兴能够采用 Azure 的新 H200 虚拟机。我们发现 H200 在最小迁移工作下提供了更好的性能，我们期待使用这些虚拟机加速我们的研究，改善 ChatGPT 体验，并推动我们的使命”。
Azure H200 v5 系列虚拟机采用微软方案实现“增强效率和性能”，包括 8 个英伟达 H200 Tensor Core GPU，解决了企业用户在计算能力方面捉襟见肘的困境。
IT之家援引微软官方新闻稿，Azure H200 v5 系列虚拟机在运行 LLAMA 3.1 405B 模型推理工作负载时，吞吐量提升达 35%。
Azure ND H200 v5 系列虚拟机最高提供 141GB HBM，相比较上一代 H100 v5 提高了 76%，此外带宽为 4.8 TB/s，提高了 43%。