李升桂
SGLang 核心开发者、新加坡南洋理工大学在读博士
李升桂,SGLang 核心开发者,主导 SpecForge 等项目的研发工作。现为新加坡南洋理工大学博士二年级生,师从张天威教授。研究方向主要包括机器学习与高性能计算,在 SC、ACL、TPDS 等国际会议发表过多篇论文,并于 2021 年首次提出大模型训练中序列并行的概念。科研之外,也积极参与开源与产业实践,曾作为核心成员参与潞晨科技创业,深度参与 Colossal-AI 和 Open-Sora 项目。
演讲主题
SpecForge: 用于训练投机采样模型的开源框架
SpecForge 是由 SGLang 团队开发的开源框架,专注于简化投机解码(Speculative Decoding)模型的训练流程,并实现与 SGLang 推理框架的无缝对接。作为 LMSYS 旗下的项目,它解决了现有开源投机解码工具维护不足、与推理框架兼容性差的问题,提供了开箱即用的训练能力,支持在线 / 离线训练、张量并行(Tensor Parallel)、FSDP 等分布式策略,帮助开发者高效构建高性能的投机采样模型,加速大语言模型的推理部署。 大纲: 一、背景与动机 a.投机解码的价值 b.现有工具的局限性 c.SpecForge 的诞生 二、SpecForge 核心特性 a.开箱即用的训练能力 b.与 SGLang 深度兼容 c.高性能与灵活性 三、技术架构与核心模块 a.整体架构 b.核心模块解析 c.训练流程示例 四、应用与案例 a.Eagle3 模型训练 b.社区案例 五、总结与展望 a.项目价值 b.未来方向 c.社区参与 六、Q&A