免费领取大会全套演讲PPT    

点击领取

我要参会

马瑞阳

小红书Dots团队成员、北京大学计算机学院博士

马瑞阳,北京大学计算机学院博士生,师从罗国杰教授。入选小红书 Dots-Ace 顶尖实习生计划,作为团队核心成员负责Dots模型Agent场景推理基础设施建设与研究。博士期间研究方向涉及大模型推理软件栈、新型体系结构与互联、电子设计自动化等方向,参与SGLang HiCache/HiSparse、Mooncake、Dynamo等开源项目开发。

演讲主题

小红书Dots推理基础设施Agentic场景支持与应用实践

Agentic 应用的多轮交互、工具调用与长上下文,为推理基础设施带来了缓存复用、请求调度与资源利用的新挑战。本次分享将围绕小红书 Dots 推理基础设施的建设实践,介绍如何基于 Dynamo 构建全局资源与缓存视图,结合 KV 感知和负载均衡进行路由,通过可编程 KV 控制与 Session Prefix Indexer 支持会话级缓存管理,并协同 SGLang、Mooncake 提供底层执行、存储与传输能力。结合点点 Agent 线上 Serving 和 Agent RL 后训练两类场景,深入讨论架构取舍、落地经验,以及降低交互延迟、提升采样吞吐和整体资源效率的优化路径。 大纲: 1. Agentic 场景的基础设施需求与挑战 2. Dots Agentic Infra 整体架构与基础能力 3. 基于全局视图、KV 感知与负载均衡的路由实践 4. 可编程 KV 控制与 Session Prefix Indexer 设计 5. 点点 Agent 线上 Serving 应用与效率优化 6. Agent RL 后训练应用与效率优化 听众收益: 1. 理解 Agentic 场景对推理基础设施的核心要求,以及 Dots 基于 Dynamo、SGLang 与 Mooncake 的架构设计与协同方式。 2. 掌握全局视图、KV 感知路由、负载均衡、可编程 KV 控制与会话前缀索引的设计思路及工程取舍。 3. 借鉴点点 Agent 线上 Serving 与 Agent RL 后训练的实战经验,了解降低交互延迟、提升采样吞吐和资源利用率的优化方法。

© boolan.com 博览 版权所有

沪ICP备15014563号-6

沪公网安备31011502003949号