演讲主题

昇思MindSpore超大规模AI实践

以大模型驱动的超大规模AI正成为下一代人工智能的突破口，也是迈向通用强人工智能最有潜力的技术方向。昇思MindSpore构建了多维度混合并行、多维度内存优化、图算融合等关键技术。并从2021年开始，孵化了20+大模型，6个千亿参数规模以上的大模型。联合知名高校及科研院所协同创新，发布了彭城实验室NLP大模型、中科院紫东太初图文音多模态大模型、鹏程神农蛋白质结构大模型、武大珞珈遥感大模型等。本次报告将从MindSpore大模型实践出发，介绍MindSpore超大规模AI关键技术，以及如何使用这些关键技术训练大模型，结合晟腾集群解决大模型大集群的训练难题。