通过利用解码引擎闲置的存储网卡（SNIC）带宽读取缓存
，并共同高快推算网络（RDMA）将其传输至预填充引擎
，DualPath实现了集群存储带宽的全局池化与动态负载平衡。 在以往的理解中
，谁掌管推算谁就去搬数据。但DualPath以为
，缓存能够先加载到解码引擎中
，再通过高机能RDMA网络传输至预填充引擎。 推理引擎： 每个引擎治理一块GPU
，严格分辨为预填充（PE）和解码（DE）。流量治理器： 掌管H2D/D2H拷贝、引擎间传输以及SNIC存储读写。中央调度器： 担任“大脑”角色
，实时决策每一条要求该走哪条路
，从而实现全局带宽的最大化利用。 通过在两条蹊径间动态分配负载
，系统将集群中正本闲置的解码侧存储网卡（SNIC）带宽彻底开释
，构建起一个全局可调度的存储I/O资源池。 PE读取蹊径： 射中Token的KV-Cache从存储读入PE缓冲区。在每层推算前
，该层缓存传输至PE HBM
，与推算过程沉叠执行。推算实现后
，全量KV-Cache传回DE缓冲区以形成齐全高低文。DE读取蹊径： KV-Cache直接进入DE缓冲区。在PE预填充期间
，对应层的缓存跨节点传输至PE HBM（推算沉叠）。推算实现后
，PE仅需传回新天生的KV-Cache片段与DE原有缓存归并。解码与悠久化： DE缓冲区接管齐全KV-Cache后启动解码
，执行H2D拷贝并随后开释CPU内存。固然引入缓冲增长了DRAM压力
，但能显著降低GPU显存占用并优化首字延长（TTFT）。天生过程中
，每累积满一个Block（如 64 Token）即触发异步悠久化。 其次是自适应要求调度器： 调度器会盯着每个节点的磁盘队列长度和Token数。系统会优先将工作分配给I/O压力较幼且推算负载较轻的节点
，从底子上预防单侧网卡或单点推算资源的拥塞。 如开头所说
，在离线推理中
，DualPath 将端到端吞吐量提高了高达1.87倍
，在线服务吞吐量均匀提升1.96倍
，显著降低了首字延长（TTFT）
，且维持了极其不变的Token间延长（TBT）。 它成功利用相识码引擎正本被浪费的I/O带宽
，共同自适应调度和严谨的流量隔离机造
，在不增长硬件成本的前提下
，大幅提升了智能体LLM推理系统的效能。