微软Azure的ND GB300 v6虚拟机在英伟达GB300 NVL72机架上把Llama2 70B推理速度推到了110万tokens/秒
微软在云计算与人工智能基础设施领域再创里程碑——其最新推出的Azure ND GB300 v6虚拟机，在搭载英伟达（NVIDIA）全新GB300 NVL72机架系统的基础上，成功将Llama2 70B大语言模型的推理吞吐量推升至惊人的每秒110万个tokens。这一成绩相较上一代基于GB200平台的ND H100系列虚拟机提升了27%，标志着云服务商在大规模AI推理性能优化方面迈出了关键一步。
新一代硬件架构：GB300 NVL72的革命性升级
此次性能飞跃的核心在于英伟达最新发布的GB300 NVL72机架级系统。该系统基于Blackwell架构GPU，采用先进的封装与互联技术，集成了72块GB300 GPU，并通过NVLink和NVSwitch实现超低延迟、高带宽的全互联拓扑结构。每个GB300 GPU不仅拥有更高的FP8算力密度，还支持动态张量核心调度与更高效的内存压缩机制，为大模型推理提供了前所未有的并行处理能力。
微软Azure将这一强大硬件整合进其第六代ND系列虚拟机（ND GB300 v6），并通过深度软硬协同优化，实现了对Llama2 70B这类参数规模高达700亿级别的模型的极致推理效率。
Llama2 70B推理性能突破：110万tokens/秒的背后
Llama2 70B作为Meta开源的大语言模型代表之一，因其强大的通用能力和广泛的应用场景，成为衡量AI基础设施性能的重要基准。然而，由于其庞大的参数量和复杂的注意力机制，传统推理方案往往面临延迟高、吞吐低的问题。
在ND GB300 v6平台上，微软联合NVIDIA团队实施了多项关键技术优化：
- 模型并行与流水线并行深度融合：利用GB300 NVL72的高带宽互联优势，将Llama2 70B切分到多个GPU上进行高效分布式推理，显著减少通信瓶颈。
- 连续批处理（Continuous Batching）增强版：引入动态请求聚合与优先级调度算法，使系统能够在高并发下维持极高的GPU利用率。
- Kernel级优化与量化推理支持：结合FP8精度计算与权重量化技术，在保证输出质量的前提下大幅加速矩阵运算。
- 缓存机制优化：改进KV Cache管理策略，降低重复token计算开销，尤其在长上下文场景中表现突出。
这些优化共同作用下，使得单个ND GB300 v6实例即可实现110万tokens/秒的推理吞吐率，较前代GB200平台的约86.6万tokens/秒提升了整整27%。这意味着在实际应用中，企业可以在相同时间内处理更多用户请求，或以更低的成本部署高质量AI服务。
性能提升带来的商业价值与行业影响
这一性能突破不仅仅是数字上的跃升，更意味着AI服务在响应速度、成本效益和可扩展性方面的全面提升：
- 降低单位推理成本
更高的吞吐量直接转化为更低的每千tokens推理成本。对于需要大规模部署LLM的客户（如客服机器人、内容生成平台、智能搜索等），这将显著降低运营支出。 - 支持实时高并发AI交互
每秒百万级token的处理能力，使得构建面向千万级用户的实时AI助手成为可能。无论是社交媒体内容审核、个性化推荐，还是多轮对话系统，都能获得流畅体验。 - 推动开源模型商业化落地
Llama2作为开源模型，一直受限于推理成本高昂而难以大规模商用。如今借助Azure ND GB300 v6的强大性能，企业和开发者可以更自信地将其部署于生产环境，加速AI democratization进程。 - 巩固Azure在AI云市场的领先地位
此次发布进一步强化了微软Azure作为“AI优先”云平台的形象。配合Azure Machine Learning、Azure AI Studio等工具链，客户可以从训练、调优到推理实现端到端的无缝集成。
未来展望：迈向千万级tokens/秒时代
尽管当前已达到110万tokens/秒的惊人水平，但微软与英伟达并未止步。据内部路线图显示，未来还将推出支持更大规模集群互联的ND GB300x系列，结合即将发布的下一代Transformer优化框架，目标是实现单集群千万级tokens/秒的推理能力。
此外，随着MoE（Mixture of Experts）架构的普及，以及像Llama3、Llama4等更大模型的出现，高效稀疏推理也将成为重点方向。微软表示，后续将在ND GB300 v6基础上进一步集成智能路由与专家选择机制，以应对未来超万亿参数模型的挑战。
其把复现脚本和Docker文件公开了
