免费领取大会全套演讲PPT    

点击领取

我要参会

王鹤男

亚马逊云科技首席应用科学家

王鹤男,亚马逊云科技首席应用科学家,人工智能应用实验室创始成员,专注于大模型推理与训练基础设施以及亚马逊自研芯片Trainium的模型适配。他主导开发了 Mooncake 的 EFA 传输后端,并与 EFA 和 UCCL 团队合作完成 DeepEP 在 EFA 上的调试和推理框架集成测试,支持客户在亚马逊云科技上构建大规模大模型训练和推理集群。他牵头将 50 余个开源模型适配到 Trainium2,并完成了小米 MiMo-V2.5-Pro 的 Day-0 适配。此外,他为中集集团、金山办公、金风科技、首汽约车、LiveMe 等企业客户提供人工智能和机器学习赋能,涵盖生成式 AI、计算机视觉、自然语言处理、推荐系统和时间序列预测等领域。他在 AAAI、EACL 等国际会议发表多篇论文。

演讲主题

Mooncake + SGLang + EFA:在亚马逊云科技上构建大规模 PD 分离推理的适配实践

PD 分离让 KVCache 成为推理关键路径上的跨机流量。Mooncake 的分层设计——框架只面对统一的 Transfer Engine / Store 接口,网卡是可插拔的传输插件,加速器是一种内存位置——让适配新硬件和新框架变成局部问题。本次分享以亚马逊云科技 EFA 为例:EFA 只提供无连接的 SRD、不支持 RDMA RC,我们围绕这一语义重写了传输插件,peer 上限从 48 提升到 816 以上,GPU 间带宽达到线速的 97.5%;SGLang、vLLM、DeepInfer 只需一个参数或百行以内代码即可接入。还将介绍 Trainium HBM 直连适配,以及 Mooncake Store 初始化从 22 分钟降到 40 秒等优化。方案已在 200 余台 p6-b300 生产集群上运行。 大纲: 1.Mooncake 项目、社区与核心观点:分层抽象让适配变成局部问题 2.为什么要适配 EFA:PD 分离、SRD 与 RDMA RC 的差异 3.EFA 传输插件设计:共享 endpoint 的 peer 寻址、按网卡计费的内存注册、网卡亲和、三个静默故障 4.与推理框架集成:SGLang、vLLM、DeepInfer 的接入方式与落地经验 5.实测:单请求 TTFT、阶段拆解、并发与长上下文 6.适配 Trainium:Neuron HBM 直连 EFA 与 PCIe 亲和 7.Mooncake Store 与通用优化:THP 交错、PTE 预算、io_uring、统一 wheel 8.生产经验与上游进展 听众收益: 1.理解 Mooncake 分层抽象的设计,以及如何借助它为新的网卡、加速器和推理框架做适配 2.获得在亚马逊云科技上用 SGLang / vLLM + Mooncake 部署 PD 分离推理的可操作配置、常见报错与排障方法 3.了解“带宽打满之后,准备开销才是主导成本”这一规律,以及大内存池初始化、注册与 SSD I/O 的优化经验

© boolan.com 博览 版权所有

沪ICP备15014563号-6

沪公网安备31011502003949号