演讲主题

面向国产AI芯片的高效推理框架的优化与实践

简介：随着人工智能技术的迅猛发展，大模型已成为各类应用的核心技术，为各行各业带来新的结构性机遇。然而，大模型需要高昂的算力才能进行高效推理以满足业务场景需要。面对英伟达受限情况下巨大的算力缺口，国产芯片的崛起为我们提供了全新的机遇与挑战。作为一家专注于提供模型推理加速和算力优化的公司，我们致力于填补国内优化空白，公司打造MLGuider——面向国产算力的大模型推理加速工具库，充分释放国产硬件潜力，加速大模型及相关应用高效落地。 本次技术分享将深入探讨国产芯片适配与优化，介绍我们的方法论和实践经验，并分享具体的案例与成果。促进国产算力与大模型的紧密结合，推动人工智能技术的快速落地和应用。 大纲： 1.国产芯片的发展现状和趋势 2.跨芯片的高效推理框架MLGuider 3.应用与实践案例分享