演讲主题

小米 MiMo 长上下文推理的系统优化与生产实践

长上下文为多轮交互、代码智能体和多模态理解提供了更大的能力空间，也给推理服务带来了计算开销、KV Cache 容量、数据传输与请求调度等方面的挑战。在真实生产环境中，即使上下文长度相近，请求的缓存命中情况、计算需求和资源占用也可能存在显著差异，如何在延迟约束下提高吞吐、降低成本，成为系统优化的关键。 本次分享将结合小米 MiMo 基于 SGLang 的长上下文推理实践，介绍混合注意力下的 KV Cache 管理、多级缓存复用与传输优化，解析结合上下文长度和缓存命中情况的动态分桶，以及兼顾计算负载与缓存亲和性的调度策略。同时，分享将探讨这些机制与 Prefill–Decode 分离、投机解码及低精度执行之间的相互影响，并结合多模态 Encoder 分离部署，讨论端到端的资源配置与性能取舍。 通过典型工程案例，分享将呈现从瓶颈定位、方案验证到灰度上线的实践过程，说明如何评估单项优化在真实负载下的系统收益，为长上下文推理服务的性能、成本与稳定性优化提供参考。 演讲大纲： 1. 长上下文推理的负载特征与系统瓶颈：计算、显存、数据传输和排队延迟。 2. 缓存与内存管理：混合注意力、多级 KV Cache、缓存复用及跨节点传输。 3. 分桶与调度优化：动态分桶、低命中率请求隔离，以及负载均衡与缓存亲和性的取舍。 4. 端到端协同与生产验证：分离部署、投机解码、低精度执行，以及性能与精度验证、灰度上线经验。 听众收益： - 理解长上下文推理中计算、缓存和调度相互影响的机制。 - 掌握根据请求特征设计分桶与调度策略的思路。 - 了解将局部性能提升转化为生产环境吞吐与成本收益的评估方法。