宋欢
快手大模型算法专家
2018年硕士毕业于中科院，毕业后一直从事代码智能方向的研究，专注于代码模型训练和应用落地。于2024年加入快手，负责 KwaiCoder 大模型Pre-training、Post-training 及 Code Agent 等方向的算法研发工作，目前自研代码大模型优于开源 SOTA base 模型。近期专注于前沿 LLM 算法的探索和落地，不断突破代码大模型性能瓶颈。
演讲主题
快手 KwaiCoder 模型：低成本构建先进代码大模型的实践探索
在代码相关任务中实现当前最先进（SOTA）水平的性能，传统方法需要消耗大量资源，包括庞大的数据集、显著的计算能力以及复杂的训练流程。 我们希望在这里给大家介绍我们使用低成本构建代码大模型的实践探索，我们期望这项工作能够给业界构建代码大模型的未来发展提供一些启示。在代码相关任务中实现当前最先进（SOTA）水平的性能，传统方法需要消耗大量资源，包括庞大的数据集、显著的计算能力以及复杂的训练流程。 我们希望在这里给大家介绍我们使用低成本构建代码大模型的实践探索，我们期望这项工作能够给业界构建代码大模型的未来发展提供一些启示。 1.传统 From Cratch 构建代码大模型的方法和遇到的挑战； 2.快手低成本构建 SOTA 代码大模型的技术演进路径以及线上使用效果； 3.快手代码大模型未来规划和展望。
