演讲主题

提升代码生成质量：代码大模型实践经验

主题聚焦为了提升代码大模型的生成质量，我们需要从预训练数据处理，到指令微调正反馈，再到众多后处理策略等多种角度进行算法和工程上的创新。本演讲首先介绍了结合深度学习与软件工程领域工具方面的工作，并详细阐述了如何结合各种软件工程工具提升代码生成质量。我们将介绍预训练数据处理的重要性，包括数据筛选、语法分析和静态分析等步骤，以确保训练数据的高质量。工程工具的使用对生成结果也很重要，如语法分析和类型推断，以及如何通过迭代过程优化代码生成质量。最后，本演讲强调了在代码生成中，通过领域化训练来适应特定行业需求的策略，对模型真实落地使用具有重要意义。