演讲主题

大规模分布式深度学习系统的挑战和进展

以GPT-3为代表的“巨模型”以其惊艳的效果和高昂的训练成本引起行业内的高度关注和热烈讨论，新的需求必然推动深度学习框架为代表的分布式系统技术向前发展，深度学习框架不仅要支持数据并行，而且要支持大模型训练所需要的模型并行、流水并行，反过来，强大的深度学习系统又会彻底解放算法科学家的想象力，帮助算法科学家探索新的深度学习模型。已有深度学习框架在解决“巨模型”的分布式训练时遇到了本质困难，人们不得不深度定制优化深度学习框架，英伟达推出了HugeCTR, Megatron-LM等项目，微软推出了 DeepSpeed 项目，为了使用一个统一的深度学习框架解决以上挑战，一流科技推出了全新设计的深度学习框架OneFlow。借这次交流机会，我们一起梳理一下大规模分布式深度学习系统的挑战和最新进展，介绍大规模分布式深度学习系统的核心原理，并展望深度学习框架未来的发展走向。