演讲主题

摩尔线程大模型训练与AI框架的协同演进实践

大模型训练目前对与AI框架的需求越来越多样化，回顾当前主流框架的发展现状，剖析在大规模训练中面临的通信、显存和容错挑战，并结合 MT 在大模型训练与AI框架协同开发中的实践案例，分享分布式策略调优、通算并行优化和低精度训练的经验。最后，探讨尚待解决的问题与未来框架的发展方向，为大模型的高效训练和推理提供参考。 【大纲】 1. 大模型演进介绍，从dense到moe，对于AI框架的需求也在变化和发展 2. 当前AI框架的介绍，包括对各种后端尤其是非CUDA的支持、AI框架重点发展的方向、自定义优化的适配性等 3. 当前AI框架在大规模训练中遇到的挑战，包括计算通信的重叠、显存压力、容错性等 4. 介绍MT在大模型训练与AI框架优化中的案例，突出分布式策略的调优、通算并行的优化、低精度训练等 5. 当前待解决的问题，以及对未来大模型、AI框架发展的展望