关超宇
清昴智能科技 CEO
关超宇,清昴智能科技 CEO ,年龄最小的清华研究生特奖得主,清华大学硕士,导师朱文武教授。曾以一作身份发表论文7篇;两项深度学习挑战赛冠军;世界首个AutoGL自动图学习开源系统(Github 800+星标)首席架构师。
演讲主题
面向国产AI芯片的高效推理框架的优化与实践
简介:随着人工智能技术的迅猛发展,大模型已成为各类应用的核心技术,为各行各业带来新的结构性机遇。然而,大模型需要高昂的算力才能进行高效推理以满足业务场景需要。面对英伟达受限情况下巨大的算力缺口,国产芯片的崛起为我们提供了全新的机遇与挑战。作为一家专注于提供模型推理加速和算力优化的公司,我们致力于填补国内优化空白,公司打造MLGuider——面向国产算力的大模型推理加速工具库,充分释放国产硬件潜力,加速大模型及相关应用高效落地。 本次技术分享将深入探讨国产芯片适配与优化,介绍我们的方法论和实践经验,并分享具体的案例与成果。促进国产算力与大模型的紧密结合,推动人工智能技术的快速落地和应用。 大纲: 1.国产芯片的发展现状和趋势 2.跨芯片的高效推理框架MLGuider 3.应用与实践案例分享