尹良升
SGLang社区核心开发人员
就读于上海交通大学 ACM 班，即将前往加州大学伯克利分校Sky Computing计算机博士学位。作为最早期的几位核心开发者之一，深度参与了SGLang的研发和优化。SGLang 作为开源社区中备受关注的推理引擎，截至2025年3 月，已在GitHub上获得11K+ Stars，月均下载量超过10万。SGLang 也被多个行业巨头采用，包括xAI（用于部署 Grok 3）、Microsoft Azure（运行 DeepSeek R1）、NVIDIA和AMD（深度集成）以及LinkedIn、美团等企业的生产环境。在DeepSeek R1发布时，SGLang便成为其官方推荐的推理引擎之一。
演讲主题
ROCm及SGLang社区开源解析
GLang: 高性能LLM推理及服务框架 SGLang是业界备受关注的高性能LLM推理及服务框架，被众多知名公司广泛使用。本次分享将深入探讨SGLang的核心功能，包括其Radix Attention、Overlap Scheduler、Cache Aware Router、DeepSeek相关优化、PD分离、Constraint Decoding和Speculative Decoding等重要特性以及性能优化方法。我们还将分享SGLang在AMD ROCm平台上的推理性能优化工作以及部署实践，助力开发者在AMD GPU上构建高性能AI应用。
