敖玉龙
北京智源人工智能研究院AI框架研发负责人
敖玉龙，北京智源人工智能研究院AI框架研发负责人，北京大学博士后，中国科学院博士。目前主要负责开源统一AI软件栈FlagOS中的大模型训推一体框架FlagScale，统一通信库FlagCX研发及统一插件体系FlagOS-UniDev，并在业界率先提出可产业落地的大模型跨芯异构混训和异构推理技术方案。长期从事人工智能、高性能计算以及科学计算领域的分布式系统与性能优化相关研究，曾就职华为和百度，参与研制了大模型系统相关核心技术。于2016年共同参与获得中国首个美国计算机学会“戈登•贝尔”奖，发表过十余篇国际顶级会议与期刊论文，拥有多项国内外专利授权，并参与制定国家和国际算子接口与通信库相关标准。
演讲主题
基于FlagOS技术栈的大模型框架多芯片统一高效插件体系
随着大模型应用快速发展，训练、推理与强化学习框架不断演进，但不同 AI 芯片在算子实现、通信机制与软件栈上的差异，使得框架适配与部署优化成本持续上升。开发者往往需要针对不同硬件重复移植与优化，难以构建统一的软件生态并实现高效的跨芯运行。本次分享将介绍基于 FlagOS 技术栈构建的大模型框架多芯片统一插件体系。该体系通过插件化方式，将 FlagOS 跨芯统一的高性能算子与通信能力以低侵入方式接入主流大模型框架，包括 Megatron-LM-FL、TransformerEngine-FL、vLLM-Plugin-FL、VeRL-FL 等插件，使用户能够在保持原有框架使用方式不变的情况下，让同一套代码运行在不同 AI 芯片上完成训练、推理与强化学习任务，实现零侵入接入与一次开发、多芯运行。同时，该插件体系也为芯片厂商提供标准化适配路径，推动多芯片 AI 软件生态的协同发展。 大纲： 1. 背景与挑战 大模型框架跨芯适配成本高 算子与通信差异带来的生态碎片化 2. FlagOS 技术栈 FlagOS核心组件：统一算子库FlagGems，统一编译器FlagTree，统一通信库FlagCX，统一训推框架FlagScale 多芯片统一插件体系设计思考 3.多芯片统一插件体系 训练插件：Megatron-LM-FL、TransformerEngine-FL 推理插件：vLLM-Plugin-FL 强化学习插件：VeRL-FL 4. 实践与生态 多芯片训练与推理实践 芯片厂商适配与生态合作
