李龙飞
蚂蚁资深算法专家
在蚂蚁工作十年，主要研究方向包括：逻辑学习，因果学习，自动学习，大模型等方向，在NeurIPS，ICML，KDD，SIGIR等会议上发表论文70余篇余篇，主导参与了蚂蚁内部的多个核心平台和项目，参与蚂蚁百灵大模型的开发，主导大模型离线推理框架flood开发：https://github.com/alipay/PainlessInferenceAcceleration。 获得了ccf2020科技进步卓越奖，吴文俊2023科技进步一等奖等。
演讲主题
性能驱动的大模型架构探索——网络架构及推理架构
近几年，大语言模型在能力上得到了巨大的提升，但在应用过程中始终面临一个重要问题—成本，因此如何以更低的成本进行服务是一个重要的方向。为了解决这个问题，蚂蚁在推理架构设计开发和网络架构探索上都做了一些尝试，在推理架构上结合具体业务，重新设计了kvcache和调度策略，开发了Flood框架，在离线推理中有不错的表现。在网络架构上，我们在MoE，线性模型等方向进行了探索，积累的一些经验。我们会在这两个方向上进行一些分享。
