GTC2026开幕在即｜硬核拆解Vera Rubin：英伟达如何把整个机架变成一台机器 原创

这是一期非常、非常、非常硬核的内容。

下周一（2026年3月16日），GTC 2026就要在圣何塞开幕了。所以在GTC开始之前，发一篇硬核的英伟达技术解读，把今年1月CES 2026上黄仁勋对Vera Rubin平台做的完整介绍拆开来解读一下，也算给GTC做个知识预热了。当然，我们也计划在GTC期间，做一个同期活动，感兴趣的同学可以在文末扫码进微信群。

这篇文章的核心内容，基于SemiAnalysis在2026年2月26日发布的深度报告《Vera Rubin – Extreme Co-Design》。SemiAnalysis是硅谷一家专注半导体与AI基础设施的独立研究机构，由Dylan Patel创办，以技术深度和供应链信息源著称，付费报告在芯片行业、对冲基金和科技公司决策层中被广泛引用。原文信息密度极高，阅读门槛也高，我在其基础上增加了大量的背景说明和术语扩写，希望能让更多人读懂这套系统的设计特点。

虽然Vera Rubin平台早在2025年3月的GTC上就首次亮相，但当时只有概要信息，直到CES 2026黄仁勋做了完整披露。

现在Vera Rubin已进入量产阶段，合作伙伴产品预计于 2026 年下半年上市/交付。SemiAnalysis拿到供应链数据做了详细拆解，很多规格和工程细节开始进入公开视野。由于全文技术术语太多，难免疏漏，有冲突的地方，所以叠个甲，有不一致的地方，请以官方和SemiAnalysis原始表述为主。

当然，这篇拆解文章，也是对刚过去的三八国际妇女节的致敬。因为英伟达用Vera Rubin这个名字，实际上就是在向一位同名女性科学家的致敬。近年来，英伟达每一代GPU技术平台都以科学家命名——Ampere（安培）、Hopper（格蕾丝·霍珀）、Blackwell（大卫·布莱克维尔）——到了这一代，CPU叫Vera，GPU叫Rubin，合起来就是Vera Rubin，致敬的自然就是美国天文学家薇拉·鲁宾（1928-2016）。

所以，我就先科普一下她的学术贡献。一个词，就是暗物质。

按照牛顿力学，星系外围的恒星离中心远、受到的引力弱，应该转得比内侧慢——就像太阳系里海王星绕太阳一圈比水星慢得多。但鲁宾和同事Kent Ford在1970年代观测了60多个星系后发现，外围恒星的速度和内侧几乎一样快。

问题在于：如果外围恒星维持同样的高速，鉴于外围的引力又很弱，可见物质产生的引力根本控制不住它们，外围恒星早该像脱手的链球一样飞散了。但它们稳稳地留在轨道上。唯一的解释是：星系里存在大量看不见的物质，它们产生的额外引力像一只无形的手，把高速运转的外围恒星兜在轨道里。这就是暗物质存在的观测证据之一。今天我们知道，暗物质占宇宙全部物质的85%以上——鲁宾的发现从根本上改变了人类对宇宙组成的认知。《纽约时报》称她的遗产"引发了哥白尼级别的宇宙观变革"。她也被广泛认为是诺贝尔物理学奖最大的遗珠之一。

回到技术本身。CES 2026上，黄仁勋把Vera Rubin平台的所有底牌都翻了出来：6款芯片、全新机架架构、无线缆计算托盘，外加一张烧到220千瓦的电费单。SemiAnalysis这篇报告是目前市面上信息密度最高的Vera Rubin硬件拆解，覆盖从芯片规格到供应链赢家、从散热物理到TCO（Total Cost of Ownership，总拥有成本）财务模型的全链路。

它的核心判断是：英伟达在做的事，已经不只是卖GPU了。

一个背景插曲：VR NVL72一开始其实叫VR NVL144。黄仁勋在GTC 2025上的算法是：每个Rubin GPU封装里有2颗计算Die，72个封装=144颗计算Die。这个命名在2025年12月底被改回VR NVL72，以72个GPU封装为准，CES 2026上正式确认。

此外，Rubin同时覆盖 8 卡级与机架级两种形态：DGX/HGX Rubin NVL8 是 8 颗 Rubin GPU 的单节点系统，官方规格页显示其配套 2 颗 Intel Xeon 6776P 处理器和 8 个单端口 ConnectX-9；而 Vera Rubin NVL72 则是本文的主角，采用 Vera CPU 与 Rubin GPU 的机架级组合，面向更大规模的 rack-scale 部署（也不要和Rubin Ultra NVL576混淆——那预计是2027年下半年的下一代产品，采用全新的Kyber机架架构取代Oberon，单机架576颗GPU、600kW功耗）。

---

1）英伟达现在要"极致协同设计"，整个机架才是产品单元

黄仁勋在CES上造了个词：Extreme Co-Design（极致协同设计）。以前买英伟达，你买的是一块GPU芯片；现在买英伟达，你买的是整个机架里的每一块关键芯片。这一代Vera Rubin平台一次性更新了6颗芯片——不只是GPU，连CPU、网卡、交换芯片、数据处理器、以太网交换机全部重新设计，而且全部由英伟达自己出品。这在英伟达历史上是第一次。

理解这六颗芯片，先要理解一个AI计算任务从头到尾经历了什么：

数据从外部网络进来 → 被分配到某颗GPU → GPU和机架内其他71颗GPU协同完成计算 → 结果通过网络送出去。

这条路径上，每个环节都需要专门的芯片：进来的门（ConnectX-9）、门卫（BlueField-4）、厂长（Vera CPU）、生产线（Rubin GPU）、厂内传送带（NVLink 6 Switch）、厂外公路网（Spectrum-6）。这六颗芯片各守一段，缺一不可，而且全部出自英伟达。

在继续介绍每颗芯片之前，先建立一个速度参照系——因为后面会反复出现800G、1.6T、22 TB/s这些数字，没有参照就只是符号。

数据传输速度的数量级：

场景	速度	感受
家用宽带（百兆光纤）	100 Mbps ≈ 12 MB/s	下载一部1GB电影约需83秒
千兆家用宽带	1 Gbps ≈ 125 MB/s	下载同一部电影约需8秒
USB 3.0	5 Gbps ≈ 625 MB/s	下载同一部电影约需1.6秒
ConnectX-9服务器网卡	800 Gbps = 100 GB/s	下载同一部电影约需0.01秒
NVLink 6机架内互联	3.6 TB/s = 3,600 GB/s	每秒传输3,600部1GB电影
GPU HBM4显存带宽	22 TB/s = 22,000 GB/s	每秒传输22,000部1GB电影

 

具体说，六颗芯片的分工如下：

• Rubin GPU（Graphics Processing Unit，图形处理器）：AI计算的本质是矩阵乘法——把一个巨大的数字表格和另一个巨大的数字表格对应位置相乘再求和，反复执行数十亿次。这件事CPU做不好，因为CPU核心数少、每个核心很"聪明"，擅长处理复杂的逻辑判断，但一次只能算一列；GPU有数千个简单核心，同时算所有列，天然适合这种"重复但并行"的暴力计算。Rubin是英伟达最新一代GPU，机架里72颗并排工作，是整套系统存在的唯一理由——其他五颗芯片，本质上都是为了让这72颗GPU算得更快、算得更顺而存在的。

  

• Vera CPU（Central Processing Unit，中央处理器）：GPU只会算，不会管。它不知道下一批数据什么时候来、来了该放在内存哪个位置、算完的结果该发给谁、系统报了错该怎么处理。这些"管理工作"需要一颗CPU来承担。每两颗Rubin GPU配一颗Vera CPU，Vera负责任务调度、内存分配、协调GPU与外部网络的通信，相当于72条流水线共用的一批车间主任。英伟达这代在Vera上投入了罕见的力气——重启了自研ARM核心架构"Olympus"，88个核心、176线程、1.5 TB内存容量——因为AI推理任务越来越复杂，CPU作为"管家"的工作量也在同步膨胀。

• NVLink 6 Switch（机架内互联交换芯片）：72颗GPU在同一个机架里并排工作，但它们不是各干各的——大模型训练时，每颗GPU只负责模型的一部分，计算完成后必须把中间结果（梯度）分享给其他所有GPU，再各自更新参数。这相当于72个工人在流水线上协作，每人做完自己这道工序后，必须把半成品交给下一道工序的任何一个人。这种"任意两人之间随时高速直传"的需求，就是NVLink 6 Switch存在的理由。机架里一共36颗NVSwitch，共同构成72颗GPU之间的全互联高速网络——任意两颗GPU之间都有专属通道，不需要排队等候，带宽极高、延迟极低。这是英伟达机架区别于普通服务器集群最核心的物理基础。

• ConnectX-9（NIC，Network Interface Card，网络接口卡）：机架是一个相对封闭的计算单元，但数据必须从外部进来，结果也必须送出去，多个机架之间也需要互相通信。ConnectX-9是这扇"对外大门"，负责以800G速率把数据送进送出。一台VR NVL72计算托盘配备8颗CX-9，等效每颗Rubin GPU拥有1.6 T的对外带宽。CX-9不只是被动传输的管道——它同时支持InfiniBand（英伟达高性能互联协议）和Ethernet（以太网）两种网络协议，意味着同一块网卡可以对接两套生态，在超大规模集群里灵活切换组网方案。

• BlueField-4（DPU，Data Processing Unit，数据处理单元）：理解它的工作，先要想象没有它的世界。每一个进入服务器的数据包，都需要经历一系列"入境检查"：这个包是合法的吗？它属于哪个租户？需不需要解密？应该转发到哪颗GPU？存储请求怎么转换成NVMe协议？KV Cache该往哪里搬？——这些工作加在一起，相当于一座繁忙海关的全部工作量。

  如果让CPU去做这些检查，CPU就成了海关官员，没时间管理GPU。如果让GPU去做，更是暴殄天物——让流水线工人去填报关单。

  BlueField-4的本质是：把这座"海关"从CPU和GPU身上剥离出来，交给一颗专门为此设计的芯片独立运行。它内部其实是一颗上代Grace CPU Die加一颗CX-9网卡的组合——注意不是Vera，而是复用了上代Grace的大型CPU裸芯片。BF-4有自己的128 GB LPDDR5x内存（容量是上代BlueField-3的4倍，但带宽只有普通Grace的一半）和存储，可以独立运行操作系统，完全不依赖主机CPU。

  它接管的具体工作分三块：前端网络的进出流量管理（相当于南北向高速公路的收费站）、后端8颗CX-9网卡的统一调度（Astra架构，相当于同时管理8条出口通道）、以及KV Cache在本地SSD和GPU之间的搬运调度（CMX架构）。

  报告预计，大多数超大规模客户会用自研的轻量DPU或直接换成一块CX-9来替代BF-4——因为贵。只有CoreWeave等自研能力有限的新兴云厂商才会保留完整配置。

• Spectrum-6（以太网交换机）：前五颗芯片解决的都是单个机架内部的问题。但一个机架只有72颗GPU，训练最前沿的大模型需要数万颗甚至数十万颗GPU同时协作——这需要把成百上千个机架连成一张网。Spectrum-6就是架设在机架之上的"城际高速公路网"，负责整个超大规模集群的骨干组网。它有102.4 T的交换带宽，通过CPO（共封装光学）技术把光学收发器直接集成进芯片封装，省掉了传统可插拔光模块，功耗降低约70%。四颗Spectrum-6芯片组合成一台SN6800交换机，单台可以支撑数十万GPU规模的集群组网。需要注意的是，Spectrum-6本身不在VR NVL72机架里，它是机架与机架之间的基础设施，是英伟达"端到端垄断"野心最外延的一圈。

英伟达能端出一张完整的全家桶，可以看作是强有力的护城河。

---

2）Rubin GPU的性能数字，需要区分"真实的35"和"理论的50"

Rubin GPU标称两个算力数字：35 PFLOPS 和 50 PFLOPS。

先解释单位。PFLOPS（Peta Floating Point Operations Per Second，每秒千万亿次浮点运算），1 PFLOPS = 每秒10¹?次计算——大约是全球70亿人口每人每秒手算140亿次才能匹敌的速度。35 PFLOPS是怎么来的？

算力 = SM数量 × 每SM每时钟运算次数 × 时钟频率

Rubin的SM（Streaming Multiprocessor，流式多处理器，GPU内部的基本计算单元）从160个增加到224个；每个SM内的Tensor Core（张量核，专为矩阵乘法优化的计算单元）在FP4精度下运算宽度翻倍，达到每时钟32,768次FP4 MAC（Multiply-Accumulate，乘加运算，AI计算的基本操作：a×b+c）；时钟频率从1.90 GHz提升到2.38 GHz（提升约25%）。三者相乘，密集FP4算力约提升3.5倍，达到35 PFLOPS。

35是真实数字，50是理论天花板。

50这个数字来自英伟达第三代Transformer引擎里的"自适应压缩"技术。AI模型的计算矩阵里天然存在大量零值——把任何数乘以零结果都是零，跳过这些乘法不影响答案。零越多，越接近50 PFLOPS；零越少，越接近35 PFLOPS。所以50是晴天最高温，实际气温取决于当天的云层。

这背后是精度格式的演进。AI计算的精度格式好比照片压缩比：

格式	全称	位宽	每个数字能表示的范围	类比
TF32	TensorFloat-32	19位	约6位有效数字	专业RAW格式
BF16	Brain Float 16	16位	约3位有效数字	无损PNG
FP8	8-bit Floating Point	8位	约2位有效数字	普通JPEG
FP4	4-bit Floating Point	4位	约1位有效数字	高度压缩图

"位宽"是说每个数字占几个二进制位。4位（FP4）只能表示16种不同的数值（2?=16），而32位可以表示约42亿种（2³²）。精度越低，每个数字占用的芯片面积越小，同样大小的芯片就能同时处理更多数字，速度越快。Rubin的Tensor Core只在FP4和FP8维度翻倍，BF16和TF32保持与上代相同——英伟达押注未来的AI工作负载将主要跑在FP8和FP4上。

值得一提的是，这代Rubin完全取消了"稀疏FLOPs"（Sparse FLOPs）的独立营销概念。上一代Blackwell把稀疏算力单独列出来翻倍宣传，实际上没人在低精度下用——AMD MI355X甚至直接在MXFP4等格式上放弃了稀疏支持以节省芯片面积。Rubin的自适应压缩是另一条路：不强制清零，不改变模型精度，让稀疏加速从"理论存在"变成"自动生效"。

显存方面，Rubin配备第四代HBM4（High Bandwidth Memory 4，第四代高带宽内存），理论带宽22 TB/s，容量控制在288 GB（与上代持平）。值得注意的是，22 TB/s这个带宽目标是从GTC 2025时宣布的13 TB/s大幅上调的，几乎翻了一倍。为此，英伟达向内存供应商提出了远高于JEDEC（联合电子设备工程委员会，制定内存行业标准的国际组织）HBM4规范的pin速度要求。

带宽提升的计算：HBM4将每个堆叠的总线宽度翻倍（相比HBM3e），同时提升数据传输速率到10.8 GT/s（Giga-Transfers per Second，每秒十亿次传输），总带宽约为上代Blackwell（8 TB/s）的2.75倍。

正是因为英伟达要求的pin速度超出行业标准规范，三星和SK海力士都面临达标困难，初批出货可能落在接近20 TB/s。Micron（美光，全球三大内存厂商之一）基本已经掉队，大概率缺席Rubin的供应名单。单颗GPU的晶体管数量从上代的210亿增加到336亿，增长约60%。

---

3）Vera CPU：英伟达时隔多年回到自研ARM核心

Vera CPU不是配角。英伟达在这颗CPU上投入了相当大的力气。

核心数量从Grace（上代CPU名称）的72个增加到88个。这里有个工程细节：物理上打印了91个核心，留出3个作为冗余。芯片制造过程中，硅晶圆上的缺陷无法完全避免（可以想象晶圆是一块面积约300mm的硅片，上面刻了数十亿个零件，偶尔会有几个区域出现材料杂质或刻蚀失误）。多打3个核心，意味着即使有2-3个不良核心，整颗芯片依然能凑出88个良好核心出货，而不必报废整片芯片，显著提升良品率。

这次重新启用了英伟达自研的ARM核心设计"Olympus"，并加入了类SMT（Simultaneous Multi-Threading，同步多线程，俗称超线程）技术。SMT的原理：CPU核心在处理指令时，经常需要停下来等内存把数据搬来（内存延迟约100纳秒，而CPU执行一条指令只需0.3纳秒，相当于CPU在等待期间本可以执行约333条指令）。SMT趁这个等待空档，让核心去处理另一个线程的任务，相当于88个工人在等材料的间隙各自多接了一项活，总处理线程数达到176个。Grace CPU曾经关闭了SMT，Vera重新打开。

当然，英伟达官方技术博客称其为Spatial Multithreading，不是通常意义上的 SMT/Hyper-Threading。区别在于：它通过 physically partitioning resources instead of time-slicing 来实现两线程/核。这与传统 SMT 类似地提升线程并发，但实现方式不是普通时间片共享。

内部缓存L3（Level 3 Cache，三级缓存）扩大了40%至162 MB。缓存是什么？芯片内部有一个从快到慢、从小到大的存储体系：寄存器（最快最小，核心内部）→ L1缓存 → L2缓存 → L3缓存 → 主内存（最慢最大，芯片外部）。越靠近核心的存储访问越快但越贵，L3是最后一级片上缓存，相当于工厂楼层里的暂存货架——货架越大，工人出库房取货的次数越少，整体效率越高。

内存容量的数字关系：Vera支持8个SOCAMM（SO-DIMM for Compute Accelerator Memory Module，计算加速器专用内存插槽模块）插槽。最大配置：8×192 GB = 1,536 GB ≈ 1.5 TB，是上代Grace最大576 GB的约2.6倍。内存总线宽度从512位翻倍到1,024位——"总线宽度"可以理解为内存和CPU之间的"马路车道数"，从512车道变成1,024车道，吞吐量自然翻倍。传输速率9,600 MT/s，总带宽约是Grace的2.5倍。

与Rubin GPU之间的C2C（Chip-to-Chip，芯片到芯片直连）带宽翻倍到1.8 TB/s，同时支持了PCIe 6（Peripheral Component Interconnect Express Generation 6，第六代高速外设互联标准，CPU与网卡、存储等外设的通用接口，每条Lane单向速度64 Gbps）和CXL 3.1（Compute Express Link 3.1，计算加速链路，术语表详解）。Vera的晶体管数量是Grace的2.2倍，达到227亿。

---

4）NVLink 6 Switch：带宽翻倍，靠的不是更快的线，而是更聪明的用法

NVLink 6 Switch芯片本身的带宽和上代相同，都是28.8 T（Tbps，每秒万亿比特）。带宽翻倍的秘密在SerDes（Serializer/Deserializer，串行器/解串器，术语表详解）层：

SerDes速度翻倍与端口减半的权衡：每条物理差分对（Differential Pair，DP，术语表详解）的传输速率从NVLink 5的200 Gbps提升到NVLink 6的400 Gbps，同时端口数量减半。数学上：200 Gbps × 2倍端口 = 400 Gbps × 1倍端口——总带宽不变，但整颗芯片无需扩大面积，设计复杂度维持不变，高带宽交换功能继续保留在单颗Die里。

布局和上代相同：芯片两侧负责I/O，中央是逻辑与Crossbar（交叉开关矩阵，术语表详解），还集成了3.6 TFLOPS的SHARP（Scalable Hierarchical Aggregation and Reduction Protocol，可扩展层级聚合缩减协议，术语表详解）网络内计算加速。

机架内NVSwitch数量翻倍到36颗，分布在9个交换托盘里，每托盘4颗。交换托盘本身彻底去掉了飞线电缆——所有NVLink信号走PCB，这是与上代Blackwell NVLink 5交换托盘的最大不同。唯一保留飞线的地方是交换托盘与SMM（System Management Module，系统管理模块）之间的PCIe连接，因为PCIe频率低，对材料要求宽松，飞线在这里风险可控。

---

5）ConnectX-9和BlueField-4：一颗芯片，两种身份

ConnectX-9（CX-9）从外观看是ConnectX-8的迭代版本：总带宽相同（800G），PCIe 6接口支持48条Lane。

48条Lane意味着什么：PCIe 6每条Lane单向速度64 Gbps，48条Lane双向总带宽 = 48 × 64 Gbps × 2方向 ≈ 6 TB/s的接口带宽，足够对接1块800G网络端口。

真正的变化在协议支持——CX-8只能在InfiniBand模式下跑800G以太网，CX-9在以太网模式下同样支持800G，具体实现是4×200G PAM4串行链路。PAM4（Pulse Amplitude Modulation 4-level，四电平脉冲幅度调制）是一种在相同时间内传递更多比特的调制技术——普通信号只有高/低两种电压，代表0和1；PAM4使用四种电压等级（比如0V/0.33V/0.67V/1V），分别代表00/01/10/11，每次传输2个比特而不是1个。好比莫斯码里不只有点和划（2种），而是增加到4种符号，单位时间信息密度翻倍。

BlueField-4（BF-4）的设计思路更有意思：不单独流片（Tape-out，将芯片设计文件交给晶圆厂制造的过程，每次成本动辄数千万美元），而是直接复用上代Grace CPU的Die（裸芯片），旁边封装一颗CX-9，打包成一个DPU。板载128 GB LPDDR5x（Low Power Double Data Rate 5x，第五代加强版低功耗双倍数据速率内存）内存，是上代BlueField-3的4倍，但带宽只有普通Grace的一半。BF-4还可以作为存储控制器使用，最多4颗BF-4可以构成一个CMX存储系统。BF-4有个现实问题：贵。多数超大规模客户会用自研的轻量DPU或直接换成一块CX-9来替代。

---

5.5）一个值得注意的架构回退：NIC Direct被取消

上一代GB300引入了一项叫"NIC Direct"的特性——让B300 GPU可以通过PCIe直接与ConnectX-8网卡通信，绕过Grace CPU，降低后端网络延迟。换句话说，CX-8同时有两个"主人"：Grace CPU和B300 GPU。

到了VR NVL72，这个设计被回退到与GB200相同的架构：Rubin GPU没有足够的PCIe带宽同时直连两颗CX-9，因此必须先通过C2C连接Vera CPU，再由Vera通过PCIe 6连接CX-9。CX-9重新只有一个主人——Vera CPU。

这是一个架构层面的退步，意味着Scale-out网络通信的延迟会比GB300时代略有增加。英伟达选择接受这个取舍，原因是每GPU从1颗800G网卡翻倍到2颗——带宽翻倍的优先级高于单链路延迟优化。

---

6）Spectrum-6：英伟达的超大规模以太网交换机，光纤长在芯片上

Spectrum-6不在VR NVL72机架内部，但它是构建超大规模Scale-out集群的关键一环。

设计结构与Spectrum-5相同：一颗主交换芯片，周围8颗I/O小芯片（Chiplet）。

102.4 T带宽的计算方式：512条SerDes × 每条200 Gbps = 102,400 Gbps = 102.4 Tbps = 102.4 T

最大的变化是引入了CPO（Co-Packaged Optics，共封装光学）：32个光学引擎（OE，Optical Engine）直接封装在芯片载板上，每个引擎提供3.2 T带宽，光纤连接器可直接插拔。32×3.2 T = 102.4 T，数字自洽。

交换机产品形态分两种：SN6810是单芯片版本（102.4 T）；SN6800是四芯片版本（4×102.4 T = 409.6 T，512个800G端口），内部集成了光纤打散（Fiber Shuffle，术语表详解）。非CPO版本SN6600也会推出，SemiAnalysis预计SN6600市场占有率更高，因为CPO在数据中心现场部署和维护的经验还需积累。

---

前面六节拆解了Vera Rubin平台的六颗芯片——它们各自是什么、做什么、比上代强在哪里。但芯片只是原材料。接下来的问题是：这些芯片怎么被装到一起，装在一起之后的供电、散热、信号传输又如何解决？从第7节开始，我们进入机架的物理工程层面。

7）计算托盘从"拼电缆"变成"插模块"，组装时间砍掉97%

这是整篇报告里最有工程感的变化。

上一代Blackwell GB200的计算托盘内部有大量飞线电缆（Flyover Cable）——这是一种把信号从一块板子"飞架"到另一块板子的柔性细线缆，细、密、脆，状态接近在密封盒子里塞满了面条。轻微刮蹭就可能断裂，组装一个托盘要两个小时，是良率和返工的主要痛点。

Vera Rubin NVL72的解法是彻底拆掉面条：把所有内部连接改成板对板连接器（Board-to-Board Connector，B2B Connector），通过一块叫做Midplane（中间背板）的电路板把前后模块桥接在一起。每个功能模块就像积木一样，按位置插进去，信号自然导通，不需要任何人工布线。

组装时间从两小时降到五分钟，降幅97%。

代价是PCB材料必须全面升级——原来靠飞线绕过去的信号完整性问题，现在要靠更贵的铜箔和介电材料扛住。ConnectX-9网卡的物理位置也移动了：

为什么要移动CX-9的位置？原先CX-9在托盘后半部，以太网信号（200 Gbps/Lane的高频信号）要走500mm才能到达前面板的OSFP光模块笼口，这么长的距离在PCB上衰减太大，必须用飞线电缆传输。把CX-9挪到前半部后，以太网信号只走短距离（接近笼口），而PCIe 6信号（64 Gbps/Lane，频率低得多，约是以太网信号的1/3）走更长的路从Midplane传过来。频率越高衰减越快，所以让高频信号走短路、低频信号走长路，这是整个重新布局的物理依据。

---

8）六个模块，一个托盘——VR NVL72计算托盘的内部解剖

在介绍每个模块之前，先把整机架的层级结构说清楚。

整个VR NVL72机架由两类托盘组成：18个计算托盘和9个NVLink交换托盘。计算托盘是机架的主体，18个完全相同；NVLink交换托盘负责机架内72颗GPU的全互联，每个托盘装4颗NVSwitch芯片，9个合计36颗。

每个计算托盘内部由六类模块拼合而成：后半部是2块Strata模块，每块装2颗Rubin GPU和1颗Vera CPU，因此每个托盘共有4颗GPU和2颗CPU；前半部是4块Orchid模块，每块装2颗CX-9网卡，每个托盘共有8颗CX-9；托盘中央垂直插着1块Midplane；前部中央还有1块BlueField-4模块、1块PDB电源分配板、1套SMM系统管理模块。

把这个结构折叠成整机架的芯片总数：18个计算托盘×4颗GPU=72颗Rubin GPU（这是NVL72名字的来源）；18×2颗CPU=36颗Vera CPU；18×8颗CX-9=144颗CX-9；18×1颗BlueField-4=18颗；36颗NVSwitch来自9个交换托盘各4颗。

理解了这个层级之后，再看每个模块的具体功能就有了坐标感。

VR NVL72计算托盘由六类模块组成。

机箱后半部：Strata模块（×2）

相当于上代Blackwell的Bianca板。每块承载2颗Rubin GPU、1颗Vera CPU和8个SOCAMM内存插槽。整块板的功耗高达约4,800瓦。

4,800瓦的构成：2颗Rubin GPU（最大2×2,300W=4,600W）+ 1颗Vera CPU（约200W）≈ 4,800W。开启Power Sloshing（功率共享）时，GPU满载时每颗分配2,300W，CPU压缩到200W；GPU负载降低时，CPU可以临时获得更多功率，减少GPU等待时间。

机箱前半部：Orchid模块（×4，左右各2块叠放）

Orchid是VR NVL72新引入的模块，每块安装2颗CX-9网卡、2个800G收发器笼口和1个E1.S SSD插槽（一种小型企业级固态硬盘规格）。4块Orchid合计8颗CX-9，对应每颗Rubin GPU拥有1.6 T的Scale-out带宽（8颗CX-9×800G÷4颗GPU=1.6 T/GPU）。

一个存储拓扑的变化值得注意：在GB200/300时代，本地NVMe存储由BlueField-3管理；VR NVL72将本地NVMe存储的物理位置移到了Orchid模块上，由CX-9负责管理。这是一个从DPU向NIC迁移存储控制权的架构级变更。

居中垂直安装：Midplane（中间背板，×1）

无线缆化设计的核心枢纽。它的两面各有一排Paladin HD2（安费诺专为高速差分信号设计的板对板连接器系列）连接器：一面对接Strata模块，另一面对接前部所有其他模块。

前部中央区域：BlueField-4模块（×1）、PDB（Power Distribution Board，电源分配板，×1）、SMM（×1套）

BlueField-4（内部为Grace CPU Die + CX-9，注意不是Vera）负责前端网络和KV Cache存储管理。PDB负责将50V降至12V分配给前部各模块。SMM（System Management Module，系统管理模块）包含TPM（Trusted Platform Module，可信平台模块，负责硬件级安全认证）和DC-SCM（Datacenter Secure Control Module，数据中心安全控制模块），大多数超大规模客户会替换为自研版本。

内部有一套液冷分液管路，各模块的冷板通过MQD（Micro Quick Disconnect，微型快速接头，口径约6-8mm）连接到管路，冷却液从机箱后左侧经UQD（Universal Quick Disconnect，通用快速接头）进入，带走各模块热量后从后右侧流出。

---

9）电源架构升级：从"12V进托盘"变成"50V直达Strata"

供电方式的变化比看起来重要得多。

上一代Blackwell的Bianca板，先由机架电源架把高压交流电（AC，Alternating Current，家用插座里流动的那种周期性变向的电）转换成12V DC（Direct Current，直流电，方向固定），再送进托盘。进了托盘后，芯片旁边的VRM（Voltage Regulator Module，电压调节模块，将中间电压精确降低到芯片工作电压约1V的精密电源模块）从12V降到1V。

VR NVL72改变了这个链条：50V直流现在直接从机架内部Busbar（母排，一种厚铜排，用于传输大电流）通过卡扣接入Strata模块，在Strata板上先经IBC（Intermediate Bus Converter，中间总线转换器，将50V降至12V的功率转换模块）降压到12V，再交给VRM降到1V。

为什么要把高压转换点移进Strata板？纯粹是电学上的损耗计算：

功率 = 电压 × 电流。同样传输4,800W的功率：

• 用12V传输：电流 = 4,800÷12 = 400A（安培）
• 用50V传输：电流 = 4,800÷50 = 96A

导线上的热损耗 = 电流² × 导线电阻（物理定律P=I²R）。电流是400A vs 96A，损耗比是400²÷96² = 160,000÷9,216 ≈ 17倍。

结论：把50V→12V的转换点前移到Strata板上，缩短了大电流（从12V开始才有400A）的传输距离，传输损耗大幅降低。

机架级别的Busbar额定电流从上代的2,900A增加到5,000A以上。5,000A在导体里流动产生的热量（按I²R计算，5,000²=2,500万是2,900²=840万的约3倍）已足够需要液冷散热——Busbar本身需要冷却液在旁边循环。

机架内4个110kW电源架采用N+1冗余设计：满负荷220kW÷110kW=需要2个电源架，加1个备用=最少3个，英伟达配置了4个。

---

10）散热从85%液冷升级到100%液冷，计算托盘里的风扇被彻底拿掉

上一代GB300还有15%靠风冷（Air Cooling，空气冷却）。Vera Rubin NVL72是全液冷（Full Liquid Cooling）——托盘里没有风扇，每个功能模块都有一块冷板（Cold Plate）贴着发热芯片，冷却液在里面循环带走热量。

需要指出的是，45°C进水温度并非Rubin首创。Blackwell的Supermicro DLC-2系统已经能在40°C以上进水温度下工作；Lenovo和HPE从2025年初就在讨论100%液冷+45°C方案；HPE在2024年已发布工业冷却系统。少数运营商（如Firmus）甚至在GB200上已经去掉了Chiller（冷水机）。英伟达在Rubin上是将这一趋势正式化，而非技术突破。

Rubin GPU的冷板做了专项升级，叫做MCCP（Micro-Channel Cold Plate，微通道冷板）。要理解这个升级，先要搞清楚冷板的物理结构：

冷板内部长什么样，槽间距缩小有什么用？

冷板是一块金属块（通常是铜），内部加工了大量平行的流道——可以把它想象成一把倒扣的梳子，梳齿向下贴着发热芯片，梳齿之间的缝隙就是冷却液流动的通道。

槽间距（Slot Pitch）就是相邻两条梳齿之间的间距，也就是每条流道的宽度。Rubin GPU冷板的槽间距从150微米缩小到100微米（1微米=0.001毫米，150微米≈一根头发丝的直径）。

槽间距越小，同样面积内能容纳的流道越多：

• 150μm间距：每毫米约6-7条流道
• 100μm间距：每毫米约9-10条流道

流道越多，冷却液与金属壁面的总接触面积越大，就像换热面积从一张餐巾纸变成了一块海绵。

芯片封装本身也做了升级：除了常规的Heat Spreader（导热盖，焊在芯片上方的金属盖，把芯片集中产热均匀扩散到更大面积，原理就像铁锅能均匀传热），还新增了Stiffener（加强筋，焊在封装边缘的金属框架，防止大面积芯片封装在热胀冷缩中翘曲变形，避免与冷板产生空隙导致散热效率急剧下降）。

芯片与冷板之间夹了一层TIM2（Thermal Interface Material 2，二层热界面材料）：

热界面材料的层次结构：

热量从芯片Die传到冷板的完整路径：Die → TIM1 → Heat Spreader（导热盖）→ TIM2 → Cold Plate（冷板）→ 冷却液。

• TIM1
  ：Die与导热盖之间，通常是铟焊料或导热膏，导热系数约4-40 W/(m·K)
• TIM2
  ：导热盖与冷板之间，Rubin用液态金属铟基合金（Indium-based Alloy，铟是一种在室温下保持液态的金属），导热系数约40-80 W/(m·K)，是普通硅脂（约1-4 W/(m·K)）的10-20倍

液态金属的问题：铟在液态下会与铜发生化学反应，慢慢侵蚀铜面。解决方案是在所有铜接触面电镀金。

整机架TDP（Thermal Design Power，热设计功耗）从Blackwell的120-140千瓦涨到180-220千瓦——大致相当于150台1.5匹家用空调同时全速运转产生的热量。每台CDU（Cooling Distribution Unit，冷却分配单元）需要处理的热量翻倍，CDU容量必须向3-6 MW升级。英伟达称Rubin支持45°C进水温度，理论上可以省掉机械压缩机式Chiller（冷水机，用机械压缩循环主动制冷的设备），改用更节能的Dry Cooler（干冷塔，利用室外空气自然冷却，无需压缩机，节能但受环境气温限制）。但报告指出大多数运营商目前仍保留Chiller以兼顾灵活性和冗余。

冷板原来在L10（系统集成阶段，将所有模块装入机架）才安装，VR NVL72改为L6（PCBA板级加工完成后，PCBA=Printed Circuit Board Assembly，电路板焊接完成的状态）就直接附着在模块上，L10阶段只需把完整模块插进机架，进一步缩短现场装配时间。

---

到这里，计算托盘的物理层面——模块怎么拼、电怎么供、热怎么散——已经讲完。但72颗GPU坐在机架里，如果彼此之间不能高速通信，就只是72台独立计算器。接下来四节（11-14）聚焦"网络"：机架内部的GPU怎么互联（NVLink 6），信号走什么材料（PCB升级），跨机架的集群怎么组（CPO交换机），以及集群规模上限由什么决定。

11）NVLink 6用了一个物理技巧让带宽翻倍，但不增加一根铜线

把NVLink Scale-up带宽翻倍，常规思路就是铜缆数量翻倍——把背板里约5,000根铜线增加到约10,000根。这在工程上接近灾难：更多线缆意味着更复杂的组装、更高的故障概率，而Blackwell这一代5,000根线缆造成的可靠性问题还没解决完。

英伟达的解法叫双向SerDes（Simultaneous Bidirectional SerDes，同步双向串行器/解串器）：让同一根铜线同时双向传输信号。

双向铜线通信是如何实现的？

想象两个人在同一条管道里向对方喊话——两边的声音在管道中间叠加在一起，每个人听到的都是自己的声音和对方声音的混合。如何分辨出对方说的是什么？

答案是：你知道自己刚才说了什么，把"自己说的"从"听到的混合声"里减掉，剩下的就是对方说的。

电路实现这个过程的器件叫Hybrid（混合器，一种无源四端口耦合器）：在收发两端各装一个混合器，混合器把本地发送信号的精确反相副本注入接收端电路，两者叠加相消，理论上可以完美抵消本端回声（Echo），剩下的就是对方发来的干净信号。这个过程叫Echo Cancellation（回声消除）。

效果：同样的铜线数量，带宽翻倍。每个机架的NVSwitch从18颗翻倍到36颗，而铜线总数、连接器数量和每个连接器的差分对（DP）数量与上代完全相同。带宽翻了一倍，铜线一根没加。

---

12）PCB材料升级：一场围绕"信号往哪里跑"的材料战

无线缆化设计把原来靠电缆承担的高速信号路径转移到了PCB上。高速信号在PCB上跑的距离越长、频率越高，能量损耗越大。这场损耗来自三个物理机制：

① 导体损耗（Conductor Loss）：铜箔表面粗糙造成的电阻损耗。

高频信号有个奇怪的物理现象叫趋肤效应（Skin Effect）：直流电会均匀分布在导线的整个截面里流动，但频率越高的交流电越会被"挤"到导线的表面流动，截面中心几乎没有电流。原因是高频电流产生的交变磁场在导线内部感应出反向电流，把电流排斥到表面。

后果：电流只在极薄的表面层（10GHz时铜的趋肤深度约0.7微米）流动，如果铜箔表面粗糙，电流就要沿凹凸不平的路径绕行，相当于路面坑洼的高速公路，电阻和损耗急剧增大。

解决方案：使用更光滑的铜箔。HVLP4（High-Velocity Low Profile 4，第四级超低轮廓铜箔）的表面粗糙度（Rz）约0.5微米，相比普通铜箔光滑了约12倍。

② 介电损耗（Dielectric Loss）：PCB绝缘材料吸收高频信号能量并以热量散发。

PCB里的铜线嵌在绝缘介质（树脂+玻璃纤维布，即CCL覆铜板）里面。高频信号传播时，其周围的电磁场会向绝缘材料"渗透"，介质分子被高频反复极化（正负电荷被反复拉开又合上），摩擦产热，消耗了信号能量。Df（Dissipation Factor，损耗因子）就是衡量这种能量吸收程度的指标，Df越小越好。

石英布（Q glass，Quartz Cloth）的Df约为0.001，约是普通玻璃纤维布（Df约0.005）的1/5——相当于给电磁场的"泄漏通道"加了5倍的绝热层。代价是加工难度高、良率低，成本高出数倍。

③ 几何损耗（Geometry Loss）：PCB上的过孔（Via）和换层引起的信号反射。

PCB有多层铜线（Rubin的NVLink 6 Switch板达32层），信号有时需要从这一层跑到另一层，必须通过过孔（Via）——一种在PCB上垂直钻孔后填充金属的导电通路，相当于楼宇里的楼梯。但过孔在高速信号看来是一个"突然的不连续点"，像高速公路上突然出现的一个坑——信号在此处发生部分反射，反向传回去的反射信号会干扰后续信号，造成损耗。

Rubin平台的材料升级方案：

升级项	上代规格	Rubin规格	解决的问题
信号层铜箔	HVLP2 Rz≈0.8μm	HVLP4 Rz≈0.5μm	减少导体损耗
电源层铜箔	标准厚铜箔	更厚铜箔	承载更大电流
主板CCL等级	M7 Df≈0.004	M8/M9 Df≈0.002-0.003	减少介电损耗
高端PCB总面积	基准值	增加约2.3倍	覆盖全部新增模块
争议升级项	E-glass Df≈0.005	Q glass石英布 Df≈0.001，待定	进一步减少介电损耗

PCB面积增加2.3倍的构成：GB300时代，高端PCB材料只覆盖托盘后半部的Bianca板和NVSwitch板，前半部用普通材料。VR NVL72新增了4块Orchid板（每块约500mm长，PCIe 6信号传输距离最长）和1块Midplane，全部采用高端材料，同时Strata板比Bianca板更大，高端PCB总面积增量主要来自Orchid板。

---

13）Scale-out组网出现了CPO交换机，这是英伟达GPU历史上的首次商业部署

前两节解决的是机架内部的信号传输问题——NVLink怎么在铜线上翻倍带宽、PCB材料怎么抗住高频信号的损耗。但一个机架只有72颗GPU。要把数十万颗GPU连成集群，信号必须从铜线切换到光纤，从机架走向机房。

Scale-out（横向扩展）指多个机架如何组成更大的GPU集群。

这代Vera Rubin首次引入CPO（Co-Packaged Optics，共封装光学）交换机。

光模块的演进历史，以及CPO"切掉"了什么：

数据中心两台服务器之间要用光纤传信号，但芯片发出的是电信号，需要先转换成光信号才能进光纤，到对端再转回电信号。完成这个转换的器件历史上一直是插在交换机前面板上的可插拔光模块（Pluggable Transceiver），像U盘一样可以手动插拔更换。

CPO的做法是把光学引擎（OE，Optical Engine，包含激光器、调制器、探测器的微型光电集成模块）直接封装进交换机芯片的基板上，信号不用离开封装就完成电光转换。相比可插拔模块，功耗降低约70%（实现同等800G带宽约5W vs 17W），成本降低约75%。

CPO还有一个隐性优势：SN6800和Q3450等型号内置了Fiber Shuffle（光纤打散）：

光纤打散是什么？

在大型集群里，每颗GPU需要同时接入多个"网络平面"（Multi-plane，多平面，相当于多条独立的高速公路，互不干扰）。传统做法是在交换机外部放一个"光纤打散箱"（Shuffle Box）和密密麻麻的跳线，手动把从不同GPU来的光纤重新排列，连接到不同的交换平面。这就像一个巨型电话交换台，需要人工接线。

CPO的"内置光纤打散"是把这个交换台直接做进了交换机芯片的封装里——来自一颗交换芯片某个端口的光信号，在封装内部就被路由到对应的交换平面，从前面板出来的光纤已经是打散好的，无需外部跳线箱和复杂的手工布线。

可靠性数据：Meta在ECOC（European Conference on Optical Communications，欧洲光通信会议）大会上展示了CPO在1,500万个400G端口设备小时内的运行结果，约等于15台CPO交换机连续运行约11个月，结果令人鼓舞，但距离大规模现场部署所需的置信度还有距离。

---

14）集群规模怎么算：一个简单公式背后的组网逻辑

理解为什么VR NVL72每颗GPU配备两个独立的800G端口（而不是一个1.6T端口），需要理解一个关键公式：

在L层交换架构、每台交换机k个端口的网络里（假设下行和上行各占一半端口）：

最大GPU数量 = (k/2)^L

需要注意，这里的k是单颗交换ASIC的逻辑端口数，而非交换机箱体的物理端口数。例如Q3400虽然箱体有144个800G端口，但内部实际由4颗Quantum-3 ASIC组成，每颗ASIC等效约36个端口——箱体本身已经是一个4平面配置。

用单平面的逻辑端口数举例：

逻辑端口配置	平面数	三层网络最大GPU数	说明
每GPU 1个1.6T端口	1平面	(k/2)³ ≈ 93,312	两个800G端口合并成"一个"1.6T逻辑端口
每GPU 2个独立800G端口（接2台不同交换机）	2平面	2×93,312 = 186,624	两个端口各接不同交换机，集群规模直接翻倍

原文指出，如果使用512端口的SN6800交换机，2层网络即可支持131,072颗GPU，3层网络理论上可达3,355万颗GPU。

关键结论： 把两个800G端口分别接到两台不同交换机（双平面，Dual-Plane），集群可扩展规模直接翻倍，而不只是带宽加倍。这是VR NVL72每GPU配置2×800G而非1×1.6T的真正原因。SN6800和Q3450内置光纤打散，让双平面甚至四平面成为标准操作，而无需在交换机外面再搭一套打散系统。

超大规模客户的具体组网选择正在分化：Meta计划用Broadcom Tomahawk 6的Minipack-4交换机构建Non-Scheduled Fabric集群，NIC到TOR层用1.6T AEC（有源电缆）连接；xAI则计划建设单平面网络，在叶、脊、核心各层全面使用1.6T AEC替代光收发器。1.6T AEC预计在2026年下半年进入规模量产。

---

15）ICMS / CMX：英伟达在GPU和硬盘之间塞入了第三层存储

网络解决了GPU之间"怎么通信"的问题，但推理场景还有一个瓶颈不在通信上，而在存储上。

大语言模型推理时会产生大量KV Cache（Key-Value Cache，键值缓存）：

KV Cache是什么，为什么它会让内存撑爆？

现代大语言模型的核心机制叫Attention（注意力机制）：每当模型生成一个新词，它需要"回顾"之前所有词，计算每个历史词与当前词的相关性。为了不在每次生成新词时都重新计算历史词的向量，模型会把每个词的中间计算结果（即Key向量和Value向量，K和V）保存下来，下次直接调用——这就是KV Cache。

规模有多大？以 Llama-3 70B 这类模型为例，100万 token 的长上下文，KV Cache 总量可以达到数百 GB 级别，接近甚至超过单颗 GPU 的 288GB HBM 容量。

现有存储层级的困境：

存储层级	设备	带宽	容量	延迟	问题
G1	GPU HBM	22 TB/s	288 GB	~纳秒	容量不够
G3	Host DRAM（DDR5）	~500 GB/s	TB级	~百纳秒	被单台服务器限制
G3.5（新增）	本地SSD（NVMe E1.S）	~数十GB/s	数TB	~微秒	KV Cache专用层
G4	网络共享存储	<10 GB/s	PB级	~毫秒	延迟太高

英伟达的ICMS（Inference Context Memory Storage，推理上下文内存存储，正式发布时可能改名CMX，Context Memory eXtension）在G3和G4之间插入了新的G3.5层，专为KV Cache设计。BlueField-4充当G3.5层的控制器，通过NVMe-oF（NVMe over Fabrics，基于网络的NVMe，术语表详解）和RDMA（Remote Direct Memory Access，远程直接内存访问，术语表详解）管理KV Cache的高速搬运，不占用GPU和CPU的计算资源。

报告特别提示：业界对ICMS带来的SSD出货增量存在严重高估，SemiAnalysis推算实际需求远小于市场传言。存储生态里可能受益的厂商：Weka、DDN、Dell、NetApp、VAST Data。

---

前面15节覆盖了Vera Rubin平台的全部技术层面：芯片、组装、供电、散热、网络、存储。最后四节转向商业和生态问题：客户能定制什么（16）、花多少钱（17）、英伟达在推理端的下一步棋（18）、以及谁在这场升级里挣到了钱（19）。

16）超大规模客户定制：英伟达限制了多少，放开了哪些

GB300时代，计算托盘的前半部（网卡、电源、管理模块）基本上每家超大规模客户都有独特设计，Amazon甚至在GB300里用的是ConnectX-8而非标准配置。

VR NVL72的设计收紧了这个空间。无线缆化和模块化设计带来一个副作用：定制模块必须符合英伟达规定的Form Factor（外形尺寸规范，包括长宽高、连接器位置、接口类型的标准化规定），才能正确对接Midplane上的Paladin HD2连接器和内部管路。

允许定制的模块只有三类：

模块	英伟达默认	客户替换选项
PDB（电源分配板）	标准50V→12V方案	自研电源架构
BlueField-4	BF-4 DPU	自研DPU / 纯CX-9
SMM（系统管理模块）	标准管理方案	自研管理方案

Strata模块和Orchid模块基本没有定制空间——那是英伟达自己的核心领地。Amazon为VR NVL72开发了特殊的JBOK/Nitro Box版本网卡，走的是自家Nitro卡（Amazon自研的网络与安全加速芯片，绕过软件层直接处理网络和存储I/O）路线。

---

17）TCO对比：Rubin比AMD MI4XX贵，但英伟达用实际推理性能数据反击

资本支出（CapEx，Capital Expenditure，买硬件的一次性花费）对比：

系统	相对成本/GPU
GB300 NVL72	基准
VR NVL72	约+45%
AMD MI4XX Helios	约+14-15%（相对GB300）；约-12%（相对VR NVL72）

但TCO（总拥有成本）= CapEx + OpEx（Operating Expenditure，运营支出，电费、运维等持续性费用），不只是买硬件的钱。

英伟达的内存直采对冲机制——一个容易被忽略的TCO结构性优势：

VR NVL72采用SOCAMM标准化内存插槽，英伟达直接向内存供应商采购SOCAMM模块，能以"VVIP"定价签订长期协议。这意味着英伟达把内存涨价风险从客户端转移到了自身——报告称英伟达扮演的角色相当于"AI央行"，为所有客户对冲DRAM价格波动。

相比之下，AMD暴露度大得多。AMD Helios机架的DRAM总用量约是英伟达的2倍（约55 TB LPDDR5 + 约55 TB DDR5），其中LPDDR5由AMD采购，但DDR5由机架组装商/ODM自行采购。AMD只能对冲LPDDR5部分的价格，DDR5部分完全暴露在内存涨价周期中。SemiAnalysis的AI Memory Model预测2026年第二季度LPDDR5和DDR5合约价格将显著上涨——这对AMD系统TCO的冲击远大于英伟达。

SemiAnalysis自己的InferenceX基准测试给出了一个戏剧性数字：

在Deepseek R1推理任务（8K输入token，1K输出token，100并发）下：B300（Blackwell Ultra，上一代）实际吞吐量 ≈ AMD MI355的6.3倍B300的TCO ≈ AMD MI355的1.75倍性能/TCO比：B300优于MI355约（6.3÷1.75）≈ 3.6倍

两款芯片的FP8峰值算力相近（B300：4,500 TFLOPS；MI355：5,000 TFLOPS），规格表差距仅10%，实际推理性能差距却接近6倍。原因是MFU（Model FLOPs Utilization，模型FLOPs利用率，实际性能÷理论峰值）的差异：英伟达通过CUDA（Compute Unified Device Architecture，英伟达统一计算设备架构，历经20年积累的GPU编程平台和软件生态）生态积累了远高于AMD ROCm（Radeon Open Compute，AMD的GPU计算平台，起步晚）的实际利用率。规格表数字相近，但把规格表转化成真实产出的软件效率截然不同。

功耗方面：

配置	GPU TDP	整机架TDP	特点
Max-P（Maximum Performance，最大性能）	2,300W	220 kW	绝对性能优先，效率下降
Max-Q（Maximum Efficiency，最大能效）	1,800W	~180 kW	能效最优，运营成本比AMD MI4XX低约20%

两档是软件可调的功率上限，相同硬件，不同设置。芯片级看，Max-P比Max-Q多消耗约28%的电（2,300÷1,800≈1.28）；但在整机架级（包含NVSwitch、网卡等固定功耗），实际功耗增幅约为20%——因为机架内不受Max-P/Q影响的组件稀释了差距。而实际算力增益远小于20%——高功率状态下的边际收益递减明显，多用20%的电，换来的算力增益可能只有5-10%。

---

18）Groq技术将以"LPU解码机架"形式亮相？

2025年平安夜，英伟达与AI芯片初创公司Groq达成技术授权协议。Groq由Jonathan Ross于2016年创立，Ross被广泛认为是Google TPU的发明人。Groq的核心产品是LPU（Language Processing Unit，语言处理单元），一种专为AI推理设计的芯片，设计哲学与GPU截然不同——GPU是通用并行引擎，LPU则把所有芯片面积押注在推理的速度上。

为什么英伟达需要一种完全不同于GPU的芯片技术？要回答这个问题，先要理解大模型推理的内部分工。

Prefill（预填充阶段）：模型接收到用户输入后，一次性并行处理所有输入token（文字单元）。计算密集型，FLOPS是瓶颈。影响TTFT（Time To First Token，首字延迟，从发出请求到收到第一个输出字符的时间）。

Decode（解码阶段）：模型逐个生成输出token：

自回归（Autoregressive）生成是什么意思？

大语言模型在生成文字时，每次只生成一个token，然后把这个新生成的token加入到"已有文字"里，再预测下一个token——就像写文章时，每写完一个字，都要重读一遍已经写的所有字，再决定下一个字写什么。这个"每次只生成一个、下一个依赖前面所有"的过程就叫自回归。

后果：Decode不能并行——必须等第1个token生成完，才能生成第2个。这是Decode成为内存带宽瓶颈的根本原因：每次生成一个token，都需要把整个模型的参数（70B模型约140GB数据）从HBM里加载一遍，而实际只做了极少量计算，绝大部分时间在等待内存读取。

影响用户体验的指标是TPOT（Time Per Output Token，每输出token延迟，决定"打字速度"），通常在10-100毫秒/token之间。

英伟达拿到Groq技术授权后，SemiAnalysis预测：英伟达将在GTC 2026发布基于LPU架构的专用解码机架，每机架256颗LPU，采用三星4nm制程，跳过第二代直接上第三代。

LPU的核心差异：用大量片上SRAM（Static Random Access Memory，静态随机存取存储器）代替HBM。SRAM和DRAM（HBM用的是DRAM）的区别：

SRAM vs DRAM：速度与成本的根本取舍

DRAM（动态RAM）：每个存储单元 = 1个电容 + 1个晶体管。电容会慢慢漏电，必须定期"刷新"（重新充电）才能保持数据，这引入了延迟。

SRAM（静态RAM）：每个存储单元 = 6个晶体管，形成一个"锁存器"，不需要刷新，只要有电就一直保持数据。速度极快，延迟约1纳秒（DRAM约100纳秒，慢100倍），但每个单元占6个晶体管 vs DRAM的1个，面积是DRAM的6倍以上，成本也高出很多。

Groq LPU更像是把“高速缓存优先”的思路放大到了推理芯片层面，用更强的片上存储与更低延迟去换decode速度；但容量受限、面积昂贵、成本更高。

另一条平行产品线是CPX：专为Prefill设计的加速器，最初计划用GDDR7（Graphics Double Data Rate 7，图形专用内存，成本低、无需2.5D封装）降低成本，后随DDR价格上涨，英伟达也在探索HBM版CPX。CPX最初计划集成在VR NVL72机架内部，后改为独立机架部署，允许超大规模客户独立扩展Prefill和Decode容量，减少故障域（Failure Domain，一次故障影响的系统范围——两个功能分离部署，一个出问题不会拖垮另一个）。

三件套推理工厂的最终形态：

• 用户请求进来 → CPX机架：一次性并行处理全部输入（读题快）
• 结果交给 GPU机架：兼顾训练和推理，均衡处理
• 输出由 LPU机架：逐字生成，极低延迟（逐字答题快）
• 三类硬件各守一段流水线，整体效率最大化

---

19）供应链格局：这场机架升级里，哪些公司在赢

安费诺（Amphenol）：连接器领域的最大赢家

VR NVL72计算托盘里最核心的连接器供应商。PaladinHD2（Paladin High Density 2，安费诺专为高速差分信号和大电流混合布局设计的板对板连接器系列）几乎垄断了Strata-Midplane-Orchid之间的所有内部互联。无线缆化设计非但没有损害安费诺，反而把原来分散给多家电缆供应商的份额集中到了连接器上，单台价值量显著提升。

高端PCB材料商：量价双升

PCB总面积比GB300增加约2.3倍，全部采用M8/M9级CCL和HVLP4铜箔，是面积增量叠加材料升级的双重驱动。石英布（Q glass）如果最终被采用，对应供应商将获得额外增量，但目前尚存不确定性。

散热：液冷设备全产业链

• QD供应商
  （Colder Products Company、Danfoss、Staubli、Parker Hannifin）：流量增大→接头口径升级→ASP（Average Selling Price，平均售价）提升
• 冷板供应商
  （AVC、Delta、Boyd、CoolIT、Auras）：MCCP升级+镀金处理→单件价值量提升
• CDU供应商
  （Delta、Schneider、Vertiv、nVent）：单机架热密度翻倍→CDU容量向3-6 MW升级
• 干冷塔/绝热冷却塔
  （SPX Technologies、BAC、Evapco）：Chiller需求长期下滑，干冷塔受益
• Chiller供应商
  （Johnson Controls、Carrier、Trane）：中长期面临需求压力

电源半导体

单托盘功耗从约3,000W（Bianca）跳到约4,800W（Strata），VRM数量和功率等级同步提升。5,000A液冷母排带来高电流连接件新需求，TE Connectivity等厂商受益。

组装：ODM自动化壁垒

只有富士康（Foxconn）、广达（Quanta）、纬创（Wistron）三家ODM（Original Design Manufacturer，原始设计制造商）具备Rubin计算托盘的L10自动化产线能力：

L10自动化的门槛是什么？工业机械臂必须能精确完成Paladin HD2板对板连接器的盲插（Blind Mating，无法目视对准、完全依靠机械导引结构完成的连接器插合，类似插头在黑暗中摸索插入插座）——公差在毫米级以内，同时完成MQD液冷快插不发生泄漏。这需要专门的夹具（Fixture，固定工件的精密工装）、视觉定位系统和力反馈控制，是纯靠经验积累而非买设备就能复制的能力壁垒。

其他ODM要么外包给这三家，要么手动组装。在百万台规模的部署里，每台5分钟 vs 每台20分钟的效率差距会持续放大。

插播读者群，再讲技术术语：

---

接下来是术语图谱：从一颗芯片到一个数据中心集群

沿着「芯片→板子→托盘→机架→集群」这条物理链条，逐层理解术语。每一层都有自己的核心问题，每一层的术语都在解决那个层次的问题。

---

第一层：芯片本身——算什么，怎么算得更快

GPU（Graphics Processing Unit，图形处理器）：本来用来渲染游戏画面，因为能同时执行海量并行计算，成为AI训练和推理的主引擎。CPU有少量（几十到几百个）复杂核心，擅长复杂串行逻辑；GPU有数千个简单核心，同时做大量重复计算（比如矩阵乘法：把两个1000×1000的数字表格对应元素相乘再相加，GPU可以同时计算所有格子）。Rubin是英伟达最新一代GPU，单颗晶体管数量336亿。

CPU（Central Processing Unit，中央处理器）：服务器的调度大脑。Vera是英伟达专为配套Rubin GPU设计的ARM架构CPU，88核、176线程，晶体管数量227亿。

Die（裸芯片）：晶圆（Wafer，一张直径约300mm的圆形硅片，上面同时制造几百颗芯片）切割后的单颗芯片实体。Die越大，制造中随机出现的缺陷越可能落在这颗Die上，良品率（Yield，合格品/总生产数）越低。

Chiplet（小芯片）：把芯片功能拆成多颗小Die分别制造，再通过先进封装（如2.5D封装，把多颗Die并排放在一块高密度转接板上）集成。好处：每颗小Die可以选用最适合自己功能的工艺节点（计算Die用先进3nm，I/O Die用成熟6nm，混搭使用），降低成本，提升良品率。Rubin GPU和Vera CPU都采用Chiplet架构，其中I/O功能（SerDes）拆成独立Chiplet。

SM（Streaming Multiprocessor，流式多处理器）：GPU内部的基本计算工厂，包含数十到上百个CUDA Core（基本计算单元）以及Tensor Core（专用矩阵乘法单元）。Rubin有224个SM，每个SM内的Tensor Core宽度在FP4/FP8下翻倍。

Tensor Core（张量核）：英伟达从Volta架构（V100，2017年）起引入的专用矩阵乘法加速单元，专门处理AI计算中最核心的GEMM（General Matrix Multiply，通用矩阵乘法）操作。一次处理一个小矩阵的所有乘加运算，吞吐量远超普通Core。随精度降低而吞吐量倍增，这是FP4比BF16快8倍以上的硬件基础。

SMT（Simultaneous Multi-Threading，同步多线程）：让一个物理CPU核心能同时执行两个独立线程，利用核心等待内存数据时的空闲窗口。Intel称之为Hyper-Threading（超线程），原理相近。Vera CPU重新引入了此类技术。不过，官方将其称为Spatial Multithreading，可理解为每核支持两线程并发执行；从效果上看接近传统SMT，但实现方式并不完全相同。

PFLOPS（Peta Floating Point Operations Per Second，每秒千万亿次浮点运算）：1 PFLOPS = 10¹?次/秒。历代英伟达GPU算力演进：A100（0.3 PFLOPS FP16）→H100（1 PFLOPS FP8）→B200（18 PFLOPS FP4密集）→Rubin（35 PFLOPS FP4密集，50 PFLOPS FP4自适应压缩）。

FP4/FP8/BF16/TF32（浮点精度格式）："位宽"决定每个数字的精度和范围。FP4只能表示16种数值，BF16能表示65,536种，FP32约42亿种。AI模型的权重参数在推理时被量化（Quantization，从高精度压缩到低精度）到FP8或FP4，速度大幅提升，精度损失可控。

稀疏计算（Sparsity）：神经网络权重矩阵中大量值为零，跳过零值计算可提升有效算力。历史演进：A100的2:4结构化稀疏（强制每4个值有2个为零，算力翻倍但需重训练，采用率极低）→Rubin的自适应压缩（动态检测真实零值，不改变模型权重，自动生效，精度无损）→AMD MI355X彻底放弃稀疏支持（节省芯片面积）。三条路代表三种不同哲学。

---

第二层：芯片的"记忆"——数据存哪里，怎么取得够快

存储体系有一个普遍规律：速度越快，容量越小，价格越贵。从片上SRAM到HBM到DDR到SSD，速度递减、容量递增、价格递减。AI系统的设计本质上是在这条曲线上找平衡点。

HBM（High Bandwidth Memory，高带宽内存）：把多层DRAM芯片垂直堆叠，通过TSV（Through Silicon Via，硅通孔）实现层与层之间的电气连接，直接封装在GPU旁边。

TSV（硅通孔）是如何工作的？

TSV字面意思就是"穿透硅芯片的导电通路"：

1. 在硅晶圆上用激光或干法刻蚀（Dry Etching，用等离子体气体轰击硅表面，精确腐蚀出孔洞）垂直打孔，孔径约5-10微米（头发丝直径的1/10），深度贯穿整颗Die（通常50-100微米厚）
2. 孔洞内壁先沉积一层绝缘材料（防止铜与硅直接接触），再用电镀（Electroplating，电化学方式在孔内填充铜）工艺填满铜
3. 芯片叠放时，下层芯片顶面的铜柱（Copper Pillar）对准上层芯片底面的焊球（Solder Bump），加热回流焊接，两层之间就有了导电通路

SOCAMM（SO-DIMM for Compute Accelerator Memory Module）：英伟达为Vera CPU设计的标准化内存插槽，类似笔记本电脑的SO-DIMM（Small Outline Dual In-line Memory Module，小外形双列直插内存模块）但针对数据中心强化。英伟达统一采购SOCAMM内存，以"VVIP"定价签订长期协议，把内存价格风险从客户端转移到自身，同时为客户提供对冲DRAM涨价的保护。

LPDDR5x（Low Power Double Data Rate 5x，第五代加强版低功耗双倍数据速率内存）：移动设备常用内存标准，功耗比服务器DDR5低约30%。BlueField-4板载128 GB LPDDR5x，但带宽仅为普通Grace的一半。"Double Data Rate（双倍数据速率）"是指在时钟信号的上升沿和下降沿各传输一次数据，相当于时钟频率相同的情况下传输速率翻倍。

KV Cache（Key-Value Cache，键值缓存）：Transformer架构Attention机制的核心数据结构，保存每个已处理token的K（Key）和V（Value）向量，避免重复计算。随上下文长度线性增长（100万token ≈ 数百GB），是推理系统内存压力的直接来源。

SRAM（Static Random Access Memory，静态随机存取存储器）：用晶体管锁存器存储数据，不需要刷新，速度更快，但面积更大、成本更高。CPU 的 L1/L2/L3 缓存和 GPU 的部分片上缓存都属于 SRAM。Groq 这一路设计的特点，在于更强调片上 SRAM 与低延迟的数据流执行，因此更适合 decode 这类对单 token 响应速度敏感的推理场景；但代价是片上存储容量受限、面积昂贵、成本更高。

CMX / ICMS（Inference Context Memory Storage，推理上下文内存存储）：英伟达在G3（主机内存）和G4（网络存储）之间插入的KV Cache专用存储G3.5层，用BlueField-4管理，通过NVMe-oF和RDMA高速搬运KV Cache数据。

NVMe-oF（NVMe over Fabrics，基于网络的NVMe）：

NVMe-oF让网络存储"看起来像"本地存储

NVMe（Non-Volatile Memory Express，非易失性内存快速接口）本是连接本地SSD的协议，延迟约100微秒。NVMe-oF把这个协议扩展到网络上（通过RDMA或TCP），让服务器访问远端SSD就像访问本地SSD一样——应用程序不需要修改，看到的还是"一块本地磁盘"，只是背后数据实际上在另一台服务器的SSD里。延迟会增加网络延迟（约1-10微秒），但比传统网络存储协议（如NFS，延迟约毫秒级）快100倍。CMX架构用NVMe-oF把分布在多台服务器上的SSD池化成一个统一的KV Cache存储层。

---

第三层：板子和托盘——芯片怎么连在一起，信号怎么传

PCB（Printed Circuit Board，印刷电路板）：通过光刻和蚀刻工艺在绝缘基板上形成铜线路的电路板，现代高端PCB（如Rubin的NVLink 6 Switch板）多达32层，每层之间用过孔互联，整体厚度约4-6mm。

CCL（Copper Clad Laminate，覆铜板）：PCB的原材料，将玻璃纤维布浸入环氧树脂固化后，两面粘合铜箔而成。两个关键参数：Dk（Dielectric Constant，介电常数，值越低，信号传播速度越快，反射越少）和Df（Dissipation Factor，损耗因子，值越低，高频信号能量损耗越少）。行业以Panasonic Megtron系列为等级参照：

CCL等级	Dk@10GHz	Df@10GHz	应用场景
FR4（普通）	~4.3	~0.020	消费电子
M7	~3.0	~0.004	Blackwell Bianca板
M8	~2.9	~0.003	Rubin Strata板
M9	~2.8	~0.002	Rubin NVLink Switch板
Q glass（石英布）	~2.5	~0.001	Rubin Orchid/Midplane（待定）

HVLP铜箔（High-Velocity Low Profile Copper Foil，超低轮廓铜箔）：铜箔表面粗糙度分级，数字越大表面越光滑：Standard（Rz≈6μm）→ HVLP2（Rz≈0.8μm）→ HVLP4（Rz≈0.5μm）。表面越光滑，趋肤效应导致的导体损耗越低。

趋肤效应（Skin Effect）：高频交流电趋向在导体表面薄层内流动，而非整个截面均匀分布。原因：高频电流产生的交变磁场在导线内部感应出反向电流，把电流排斥到表面。10GHz时铜的趋肤深度约0.7微米，铜箔表面越粗糙，这薄薄一层电流路径越弯曲，电阻和损耗越大。

插入损耗（Insertion Loss，IL）：信号从PCB一端走到另一端损失的功率，单位dB（分贝）。IL的三个来源：①导体损耗（与铜箔粗糙度和趋肤效应相关）②介电损耗（与CCL的Df相关）③几何损耗（与过孔、换层相关）。典型要求：整个信道上的总IL应不超过约-20dB。

过孔（Via，垂直互联通路）：PCB不同铜层之间的导电通路，通过垂直钻孔并填充铜实现，相当于楼宇里的电梯井。过孔在高速信号眼里是一个"不连续点"——截面和几何形状突然变化，会引起信号反射（部分信号被弹回来），造成插入损耗。Via越多，高频信号损耗越大。

差分对（Differential Pair，DP）：高速信号传输的基本单元，由两根走线组成，一根传+信号，另一根传完全反相的-信号。接收端用差分放大器计算两者之差，将共模噪声（两根线上相同的干扰）自动抵消。1个DP = 2根导线 = 1条高速信号通道。NVLink背板里的约5,000"根"实际上是约5,000个DP，即约10,000根物理导线。

SerDes（Serializer/Deserializer，串行器/解串器）：将芯片内部的并行数据流（多位同时传输）转换为高速串行比特流（单DP依次传输）的电路，接收端逆向还原。内部包含：PLL（Phase-Locked Loop，锁相环，生成高精度时钟）、TX均衡（Pre-emphasis，发送端预补偿）、CDR（Clock Data Recovery，时钟数据恢复）、RX均衡（接收端均衡）。双向SerDes在此基础上增加Hybrid（混合器）和Echo Cancellation（回声消除）电路。

飞线电缆（Flyover Cable）：高密度细间距柔性互联线缆，因"飞越"两块PCB之间空间而得名，优点是绕开了PCB长距离高速信号的IL限制，缺点是组装时需要精确定位，柔性线缆容易受机械应力损伤，是Blackwell时代良率和返修的主要成本中心。VR NVL72全面改用板对板连接器取代。

板对板连接器（Board-to-Board Connector，B2B）：连接两块PCB的直接物理接口，无需线缆。安费诺PaladinHD2（Paladin High Density 2）是VR NVL72的专用连接器，在极小空间内密集排布数百个高速信号触点和大电流供电触点。"盲插"（Blind Mating）指连接时无法目视对准、完全依靠机械导引结构引导触点对准。

C2C（Chip-to-Chip，芯片到芯片互联）：同一封装内或紧邻封装的芯片之间的超短距高速互联，Rubin-Vera之间C2C带宽1.8 TB/s，延迟纳秒级，不走PCB。与NVLink（机架内，米级）、InfiniBand/Ethernet（跨机架，百米到千米）形成从近到远的三级互联体系。

PCIe 6（Peripheral Component Interconnect Express Generation 6，第六代高速外设互联）：CPU与GPU、网卡、SSD等外设的通用标准接口。演进：PCIe 3.0（8 GT/s/Lane）→ PCIe 4.0（16 GT/s）→ PCIe 5.0（32 GT/s）→ PCIe 6.0（64 GT/s，同时从NRZ编码改为PAM4编码，即每次传输2比特而不是1比特，速率翻倍）。

CXL（Compute Express Link，计算加速链路）：建立在 PCIe 物理层之上的一致性互联标准，可用于内存扩展、池化与共享。需要注意的是，在 Vera 与 Rubin 这对 CPU/GPU 组合里，英伟达官方重点强调的统一地址空间与一致性内存访问，主要来自 NVLink-C2C。

---

第四层：机架内部组网——72颗GPU怎么协同工作

NVLink（NVIDIA Link）：英伟达自2016年引入的专有GPU互联协议，专为取代PCIe在GPU间直传数据而设计。演进：NVLink 1.0（160 GB/s双向）→ 1.8 TB/s（NVLink 5，GB200时代）→ 3.6 TB/s（NVLink 6，Rubin时代，通过双向SerDes实现带宽翻倍而铜线数量不变）。

Scale-up（纵向扩展）：通过NVLink把同一机架内的72颗GPU粘合成一个逻辑计算单元。Scale-up内GPU直接互相访问显存，延迟约几百纳秒，带宽数十TB/s。当前机架级（72 GPU）规模受铜线信号完整性距离限制，跨机架的Scale-up需要光学NVLink（英伟达规划中）。

NVSwitch（NVIDIA NVLink Switch ASIC）：实现72 GPU全互联的高基数交换芯片。

Crossbar（交叉开关矩阵）：NVSwitch的核心电路，实现任意输入直达任意输出：

Crossbar是什么？

想象一个有M个输入、N个输出的邮局：每个包裹进来时，可以发给任意一个输出口，并且多个包裹可以同时发往不同目的地，互不阻塞（只要目的地不冲突）。Crossbar就是这样一个"完全非阻塞交换矩阵"，内部有M×N个交叉点，每个交叉点可以独立开关，让任意输入直达任意输出。

与"总线（Bus）"的区别：总线是大家共用一条路，同一时刻只能一辆车通过；Crossbar是每个输入口有专属通道，多路可以同时传输。NVSwitch的Crossbar让72颗GPU任意两颗之间都有"专属通道"，可以同时全部互相传数据。

SHARP（Scalable Hierarchical Aggregation and Reduction Protocol，可扩展层级聚合缩减协议）：

SHARP是什么，它解决了什么问题？

分布式AI训练里，每颗GPU算完反向传播后，需要把自己算出的"梯度"和其他所有GPU的梯度加总平均，这个操作叫AllReduce（全规约）。

传统方式：所有GPU把梯度数据发给某颗"主GPU"，主GPU加总后再分发回所有GPU——主GPU成为瓶颈，数据需要往返搬运两次。

SHARP的做法：交换芯片在数据流经自己时，直接在传输途中做加法，数据不需要先集中再发散。就像快递中途分拣站会把同方向的包裹合并打包，而不是都先拉回总部再分发。可节省约50%的AllReduce通信时间。NVLink 6 Switch内置3.6 TFLOPS的SHARP算力。

---

第五层：跨机架组网——更大的集群怎么建

Scale-out（横向扩展）：通过以太网或InfiniBand把多个机架连成更大集群，理论上不受距离限制（光纤可达千米以上）。Scale-out与Scale-up的本质区别：Scale-up GPU共享显存，访问延迟100纳秒级；Scale-out机架通过网络通信，延迟1微秒级，慢约10倍，因此Scale-out集群训练需要精心的任务切分策略（如Tensor Parallelism张量并行、Pipeline Parallelism流水并行）。

InfiniBand（无限带宽）：起源于1999年，最初为HPC超算集群设计，特点：低延迟（约1微秒端到端）、高带宽、支持RDMA。英伟达2019年以69亿美元收购Mellanox后获得InfiniBand全栈。Quantum-3是当前最新的InfiniBand交换ASIC。

Ethernet（以太网，IEEE 802.3标准）：1973年由Xerox PARC发明，全球最通用的有线网络标准。AI数据中心以太网已从100GbE升级到400GbE、800GbE，下一代1.6TbE正在标准化。英伟达Spectrum-X和博通Tomahawk系列是AI以太网主要竞争方案。

RDMA（Remote Direct Memory Access，远程直接内存访问）：

RDMA是如何"绕过操作系统"的，为什么这很重要？

普通网络通信的数据路径：应用程序数据 → 操作系统内核缓冲区 → 网卡驱动 → 网卡 → 网线 → 对端网卡 → 对端内核缓冲区 → 对端应用程序。数据至少被拷贝4次，每次拷贝都需要CPU参与，延迟约100微秒。

RDMA的数据路径：应用程序登记一块内存区域（告诉网卡"你可以直接读写这块内存"）→ 网卡直接从这块内存读数据发出去 → 对端网卡直接把数据写到对端应用程序的内存里。全程CPU不参与，数据几乎零拷贝，延迟降至约1微秒，CPU占用接近零。

在AI集群中，GPU训练产生的梯度数据通过RDMA在服务器间传输，不占用CPU。

CPO（Co-Packaged Optics，共封装光学）：将光收发功能集成进网络交换芯片封装，省掉独立可插拔光模块（Pluggable Transceiver）。功耗降低约70%，成本降低约75%。含两个关键子组件：OE（Optical Engine，光学引擎，含调制器和光探测器）和ELS（External Light Source，外部光源，提供激光的独立模块）。SN6800和Q3450等型号内置Fiber Shuffle（光纤打散），在封装内完成多平面拓扑的光纤路由，无需外部打散箱。

多平面组网（Multi-plane Network）：将Scale-out网络物理上分成多个独立子网络，每颗GPU同时接入多个平面。好处：①集群规模按平面数倍增 ②单平面故障不影响其他平面 ③流量负载均衡。VR NVL72的2×800G设计天然支持双平面，是获得更大集群规模上限而非单纯更高带宽的核心设计选择。

AEC（Active Electrical Cable，有源电缆）：内置信号放大和均衡芯片的铜质短距互联线缆，用于机架内或相邻机架间的≤3米连接。与DAC（Direct Attach Copper，无源铜缆）和AOC（Active Optical Cable，有源光缆）构成短距互联三件套。1.6T AEC含Gearbox（变速器芯片，在200G/Lane和100G/Lane之间做SerDes速率转换），是Meta等客户连接服务器与接入层交换机的选择，预计2026年下半年进入规模量产。

---

第六层：散热与供电——物理约束

TDP（Thermal Design Power，热设计功耗）：芯片或系统持续满负荷工作时的最大发热量设计值，是散热系统设计的基准。TDP≠实际功耗（轻负载时远低于TDP），也≠峰值功耗（极短时间尖峰可能略超TDP）。Rubin双档：Max-P（2,300W，最大性能）和Max-Q（1,800W，最大能效），软件可调，相同硬件。

Max-P / Max-Q：英伟达命名传统，P=Performance（性能），Q=Quiet/Quality（实为能效）。最初用于笔记本GPU（两种不同硬件），Rubin时代延伸到数据中心（同一硬件的两种功率配置）。芯片级Max-P比Max-Q多消耗约28%的电（2,300÷1,800≈1.28），但在整机架级实际功耗增幅约为20%（因机架内固定功耗组件稀释了差距），实际算力增益远小于20%，能效下降明显。

热界面材料体系（TIM，Thermal Interface Material）：热量从芯片Die传到冷板的完整路径：Die → TIM1 → Heat Spreader（导热盖，焊在Die顶部的薄金属盖，把芯片集中产热均匀扩散到更大面积，就像铁锅受热均匀）→ TIM2 → Cold Plate（冷板）→ 冷却液。TIM1通常是铟焊料或导热膏（导热系数约4-40 W/(m·K)）；TIM2用液态金属铟基合金（导热系数约40-80 W/(m·K)），是普通硅脂的10-20倍，但会腐蚀铜，需要接触面电镀金（Electroplated Gold）保护。Stiffener（加强筋）是Rubin新增的封装边缘金属框架，防止大面积封装在热胀冷缩中翘曲变形，避免与冷板产生空隙导致散热效率下降。

MCCP（Micro-Channel Cold Plate，微通道冷板）：内部流道宽度在100微米量级的金属冷板：

槽间距（Slot Pitch）是什么，100μm vs 150μm有多大区别？

冷板内部加工了大量平行流道，截面看起来像一把梳子倒扣：梳背贴着芯片表面，梳齿之间的空隙是冷却液流动的通道。"槽间距"就是相邻两个梳齿之间的中心距，即每个流道的宽度。

• 150μm槽间距：每毫米约6-7条流道
• 100μm槽间距：每毫米约9-10条流道

流道数增加约50%，冷却液总接触面积相应增加约50%——就像换热面积从一张餐巾纸变成了一块海绵。更细的流道还使冷却液从层流（Laminar Flow，整齐有序，换热效率较低）转变为湍流（Turbulent Flow，紊乱混合，换热效率更高），进一步提升散热能力。

CDU（Cooling Distribution Unit，冷却分配单元）：数据中心液冷系统的换热枢纽，通过板式换热器（PHE，Plate Heat Exchanger，数十到数百片薄金属板叠合而成，冷热两路液体交替流过相邻流道，通过金属薄板传热，两路液体互不接触）将IT设备回路的热量转移到设施冷却回路。一台CDU通常负责约10个机架，Rubin时代向3-6 MW容量升级。Delta领跑专业厂商市场。

QD（Quick Disconnect，快速接头）：液冷管路里的快拆连接器，插入时自动开启阀门通液，拔出时自动关闭不漏液。VR NVL72体系里有两种：UQD（Universal QD，连接机架与CDU的较大外部接口）和MQD（Micro QD，托盘内部模块间的小型接口，口径约6-8mm）。Rubin更高流量要求推动QD向更大口径升级。

Chiller（冷水机）：包含压缩机、冷凝器、膨胀阀、蒸发器的机械制冷循环设备，本质是一台大型空调，能把冷却水降至远低于室外温度（如5-15°C）。制冷效率用COP（Coefficient of Performance，性能系数=制冷量÷耗电量，典型值3-6）衡量。45°C进水温度理论上不需要Chiller，只需Dry Cooler（干冷塔，用空气自然对流冷却，无压缩机，节能但受室外气温限制）——但这并非Rubin首创，Blackwell时代已有少数运营商实现无Chiller部署。

Busbar（母排/汇流排）：铜或铝制的矩形截面大导电排，用于大电流配电，截面积大、电阻低。VR NVL72的Busbar额定5,000A，产生的焦耳热（P=I²R）约是GB300（2,900A）的3倍，必须液冷散热。

IBC（Intermediate Bus Converter，中间总线转换器）：将50V降压到12V的功率变换模块，效率通常在97%以上，让大电流段（12V→1V）的路径尽量短，减少I²R损耗。

VRM（Voltage Regulator Module，电压调节模块）：贴近芯片安装的精密降压电路，将12V降至约0.7-1.0V芯片工作电压，同时在微秒级时间内响应芯片瞬时负载变化（Load Transient），维持电压稳定。

HVDC/LVDC（High/Low Voltage Direct Current，高/低压直流）：HVDC（如800VDC或±400VDC）在数据中心配电中减少多级AC-DC转换次数，系统效率可提升2-4%。VR NVL72机架内部使用50V LVDC，部分超大规模客户在机架外部部署HVDC电源架后通过DC-DC模块降压到50V接入。Meta等客户还集成BBU（Battery Backup Unit，电池备用单元，提供分钟级备电）和CBU（Capacitor Backup Unit，电容备用单元，提供秒级备电但响应更快）以应对电网波动。AI训练如果断电会丢失最近一次Checkpoint（检查点，定期把模型权重参数保存到存储，以便断电后从最近检查点恢复训练，否则只能从头开始）之后的全部训练进度。

---

第七层：推理的两个阶段——理解英伟达产品线布局的钥匙

Prefill（预填充）：Transformer推理第一阶段，并行处理用户输入的全部token，生成KV Cache。Compute-bound（计算密集型），FLOPs是瓶颈。影响TTFT（Time To First Token，首字延迟，发出请求到收到第一个字符的时间）。

Decode（解码）：Transformer推理第二阶段，自回归（Autoregressive，每个新token以所有已有token为条件依次生成，天然无法并行）地逐个生成输出token。Memory-bandwidth-bound（内存带宽密集型），HBM带宽是瓶颈（每生成一个token需要加载一次全部模型权重）。影响TPOT（Time Per Output Token，每输出token延迟，即"打字速度"），通常在10-100毫秒/token之间。

LPU（Language Processing Unit，语言处理单元）：Groq（2016年成立，由前Google TPU团队核心成员创立）设计的专用推理芯片，核心特点：大量片上SRAM代替HBM，加上静态数据流架构（Static Dataflow Architecture，编译时确定所有数据路径，消除运行时控制开销）和确定性延迟（Deterministic Latency，每次推理耗时固定，无随机抖动），极适合TPOT敏感的Decode场景。代价是成本极高、总吞吐量（Throughput）不如GPU。

MFU（Model FLOPs Utilization，模型FLOPs利用率）：实际吞吐量 ÷ 理论峰值算力，通常以百分比表示，衡量芯片有多少理论算力被实际用到。A100训练GPT-3时MFU约38-45%，H100约50-55%，B200接近60%。AMD MI350在DeepSeek R1推理中MFU显著低于英伟达，主要原因是ROCm（Radeon Open Compute，AMD的GPU计算平台）的算子融合（Kernel Fusion，把多个小计算合并成一个高效大计算，减少内存往返次数）和内存访问优化成熟度远不及CUDA（已积累20年生态）。MFU是"规格表峰值"和"实际产出"之间的转换系数，也是英伟达CUDA护城河最直观的量化体现。

TCO（Total Cost of Ownership，总拥有成本） = CapEx（Capital Expenditure，资本支出，一次性买硬件的钱）+ OpEx（Operating Expenditure，运营支出，电费、运维、带宽、机房租金等持续性费用）。典型4年折旧期内，AI集群CapEx约占TCO的40-50%，OpEx约50-60%（电费最大）。Max-Q比Max-P省约20%的机架级电费，4年内OpEx节省可观，但CapEx相同——两者的TCO差异主要体现在OpEx。

ODM（Original Design Manufacturer，原始设计制造商）：负责从产品设计到量产制造全链条的代工厂，如富士康（Foxconn）、广达（Quanta）、纬创（Wistron）。区别于OEM（Original Equipment Manufacturer，只贴牌生产别人设计的产品）。AI服务器供应链：英伟达提供关键芯片和参考设计 → ODM负责L6（板级PCBA，Printed Circuit Board Assembly，电路板焊接）和L10（系统集成，将所有模块装入机架）→ 整机交付给Hyperscaler（超大规模云厂商：AWS、Azure、GCP、Meta等）或Neocloud（新兴AI专用云：CoreWeave、Lambda Labs、Crusoe等）。VR NVL72的L10自动化产线能力目前只有富士康、广达、纬创三家具备，是供应链里最难被复制的壁垒。