周中柱
Together AI高级研究科学家;FutureMLS创始人及首席研究员
- 悉尼大学计算机科学博士 - 研究涵盖高效模型架构、后训练中的低比特量化 - 聚焦 GPU Kernel、训练与推理引擎及机器学习系统基础设施,推动算法与系统协同优化 - 代表工作包括 OSCAR、CARE、Aurora、XoRL 与 DeepSpeed-Chat - 成果发表于 NeurIPS、ICLR、ICML、MLSys、USENIX ATC 等国际会议 - 曾在微软 DeepSpeed、Dolby、腾讯从事机器学习系统研发
演讲主题
不止于论文:2-bit KV Cache 的工程落地之路
温馨提醒大家,演讲PPT初稿提交截止日期为11月9日(周一),11月13日(周五)提交终稿。辛苦大家加油准备,完成后可以发送至我的微信或邮箱:hemiao@csdn.net - 为什么压缩不等于加速:KV Cache 的显存与带宽瓶颈,以及额外计算、访存和调度开销 - OSCAR 从算法到实现:协方差感知离线旋转、2-bit 量化与混合精度 KV Cache,兼顾模型精度与执行开销 - 深入 GPU Kernel:2-bit 数据打包、量化分组与访存布局,以及解包、反量化和 Attention 融合中的带宽、指令与寄存器取舍 - 从算子走向推理系统:CuteDSL 实现、Paged KV Cache 适配与 VLLM, SGLang 集成,分析 Prefill / Decode 的不同瓶颈及算子融合边界 - 用端到端收益检验落地:在不同上下文长度与批量下,评估准确率、显存、TTFT、TPOT 和吞吐量,定位压缩收益被额外开销抵消的原因 把 KV Cache 压缩到 2 bit,论文中的显存收益并不等于系统中的实际收益:长上下文精度如何保证?混合精度数据如何放进 Paged KV Cache?量化与反量化算子的额外开销是否会抵消带宽节省?本次分享以本人主导的 OSCAR 研究为核心案例,介绍离线旋转与混合精度设计如何降低极低比特量化的精度损失,并从推理系统视角讨论缓存布局、算子实现、服务框架集成和性能验证。结合长上下文任务准确率、显存占用、吞吐量及 TTFT/TPOT 等指标,分享从论文原型走向可用系统时必须面对的工程权衡与实践经验。 大纲: - 为什么压缩不等于加速:KV Cache 的显存与带宽瓶颈,以及额外计算、访存和调度开销 - OSCAR 从算法到实现:协方差感知离线旋转、2-bit 量化与混合精度 KV Cache,兼顾模型精度与执行开销 - 深入 GPU Kernel:2-bit 数据打包、量化分组与访存布局,以及解包、反量化和 Attention 融合中的带宽、指令与寄存器取舍 - 从算子走向推理系统:CuteDSL 实现、Paged KV Cache 适配与 VLLM, SGLang 集成,分析 Prefill / Decode 的不同瓶颈及算子融合边界 - 用端到端收益检验落地:在不同上下文长度与批量下,评估准确率、显存、TTFT、TPOT 和吞吐量,定位压缩收益被额外开销抵消的原因 听众收益 1. 理解 2-bit KV Cache 从理论压缩率到真实推理收益之间的关键差距与技术瓶颈。 2. 了解 OSCAR 的离线旋转、混合精度策略与长上下文精度评测方法。 3. 掌握将低比特 KV Cache 接入 Paged KV Cache 与推理框架时需要考虑的缓存布局、算子和调度问题。 4. 学会从准确率、显存、TTFT、TPOT 与吞吐量评估方案是否具有实际部署价值。