问题随之而来。当专家散布在多块GPU上时，GPU之间的通讯延长会导致推算单元空闲期待数据，这些空闲功夫直接转化为服务商的成本。 在软件层面，整个系统就像一块巨型GPU一样运作。共同英伟达Dynamo推理框架的分离式预填充-解码调度和动态KV缓存路由，这套架构可能有效突破8卡系统的通讯瓶颈。 两个平台的绝对机能相比10月都有显著提升，英伟达的峰值吞吐从约7000 tokens/sec跃升至14000以上，AMD则从约6000提升到8500左右，但相对差距反而拉大了。 测试了局显示：在25 tokens/sec/user交互性下，GB200 NVL72的每GPU机能是H200的10倍、MI325X的16倍；在60 tokens/sec/user下，相比H200的优势扩大到24倍，相比MI355X达到11.5倍；在75 tokens/sec/user下，GB200 NVL72的机能是B200单节点配置的6.5倍，是MI355X的28倍。 在75 tokens/sec/user交互性下，28倍的机能优势除以1.86倍的价值，每美元机能达到MI355X的15倍，这意味着天生一致数量的token，英伟达平台的成本只有AMD的十五分之一。 MoE推理让网络成为推理成本的瓶颈，而机柜级的GB200 NVL72刚好解决了这个问题。价值的衡量尺度在从单纯的算力转向“每美元能产出几多智能”。