演讲主题

重新思考大语言模型预训练中的数据问题 ——数据选择、数据混合与高效训练

当前大语言模型的能力很大程度上依赖于海量数据的规模化训练，但并非所有数据都对模型学习同等重要。本报告将从数据中心（data-centric）视角重新审视大语言模型预训练问题，介绍我们在数据选择、数据混合以及高效模型训练方面的一系列工作。相关研究表明，通过更有效的数据筛选、更加自适应的数据配比以及改进的训练流程，可以在提升训练效率的同时进一步增强模型能力。 大纲： a)引言 i.大语言模型预训练的规模化趋势与挑战 ii.从数据规模到数据质量：数据中心视角 b)数据选择（Data Selection） i.Token 重要性估计（Rho-1） ii.长上下文中的长程信息 iii.多样性感知的数据选择 c)数据混合（Data Mixing） i.多领域训练数据的配比问题 ii.Data Mixing Agent：学习式数据配比优化 d)高效训练（Efficient Training） i.Sigma-MoE-Tiny e)总结与展望 通过本报告，听众将能够： 1.了解大语言模型预训练中的数据中心（data-centric）视角及其重要性 2.理解如何通过数据选择识别更具价值的训练数据 3.掌握多领域数据混合的关键问题及学习式优化方法 4.认识数据与模型协同设计在提升训练效率中的作用