演讲主题

Agent 时代的推理基础设施:全栈智能巡检与根因诊断实践

推理正在从单次请求变成Agent 驱动的长链路调用,故障随之下沉:网关的路由倾斜、引擎的 KV Cache 抖动、Sandbox 的冷启动长尾,最终都收敛成一根找不到主人的 P99 毛刺,阈值告警对此无能为力。本次分享介绍阿里云面向大规模推理的智能巡检与诊断实践:用 UModel 把资源层、引擎、网关、AgentSandbox 建模为一张可推理的图，并以此为底座构建Agent 驱动的大规模健康度自适应巡检与带证据链的RCA。 大纲： （1）从 Sandbox/Agent 到推理服务面临的可观测挑战 （2）全链路的可观测数据采集设计 （3）建立全域统一数据模型 UModel （4）以健康度计算支撑大规模巡检 （5）巡检/诊断 Agent 的设计思路 （6）实践效果展示 听众收益： 1.一份推理全栈可观测数据的采集清单与工程解法,重点是跨层链路打通和短生命周期实体的数据留存。 2.面向推理场景的全域建模方法(UModel):实体关系设计、稳定 ID、时间旅行、变更建模。 3.一套可落地的健康度计算体系——群体对比基线、沿拓扑聚合、亚健康分级,以及它如何把大规模巡检的成本降一个数量级。 4.巡检与诊断 Agent 的完整设计:架构分层、上下文裁剪、可信约束,以及用故障注入让 RCA 准确率可度量。