王召德
阿里淘天集团技术专家、MNN团队架构师
硕士毕业于中国科学院计算技术研究所。现任阿里巴巴淘天集团技术专家、MNN团队架构师，负责高性能端侧AI推理引擎MNN（12.5k Star）及其大模型优化分支MNN-LLM的架构设计与性能优化。负责MNN核心引擎的演进，带领团队使用MNN-LLM在2024-2025 IEEE AICAS LLM性能优化竞赛中获得冠军。专注于推动前沿AI模型在移动端、IoT等终端设备的高效部署与应用落地。
演讲主题
MNN-LLM: 移动端大语言模型推理框架
大型语言模型（Large Language Models, LLMs）在人工智能领域表现出了卓越的性能，但其在端侧设备上的推理优化却面临着巨大的挑战。MNN引擎作为一个高效多平台推理框架，可以各类深度学习模型，具有优异的通用性与高性能特点；本次分享主要介绍基于MNN引擎实现大语言模型的端侧推理部署以及针对端侧设备的性能优化。 大纲： 1. MNN-LLM介绍 2. 大语言模型结构与性能分析； 3. 端侧内存优化； 4. 端侧异构性能优化； 5. 应用示例；
