演讲主题

百灵Ling-3.1-flash在蚂蚁核心业务场景中的极致性能优化

蚂蚁内部业务多种多样，百灵大模型推理团队针对特定的极致SLO进行全方位优化，面对560B大模型，在H20推理卡上，面向端到端包含链路耗时，在输入平均26K，输出平均280下，达成TTFT avg < 700ms, TPOT avg < 5ms的极致SLO要求。重点介绍这这过程中所采取的手段以及核心优化点。包括针对业务输入的分析，cache命中率提升，长短请求长尾解决,以及L2 cache得性能优化方案，最终达成极致性能以及成本降低。 大纲： 一、百灵模型及相关技术简介 二、蚂蚁核心业务诉求以及相关推理分析 三、面向极致性能优化的路径及收益 四、大模型推理优化思考：路在何方 听众收益： 获取最新的面向极致SLO的优化手段，以及蚂蚁百灵的模型的设计架构和思路，对于模型推理极优化和训练架构设计予以参考。