于广华
腾讯混元大模型压缩算法负责人
负责腾讯混元大模型量化、稀疏化、投机采样等压缩算法落地及创新工作,从事人工智能领域近10年,具有深厚的模型压缩优化技术积累,发表专利及论文十余篇。带领团队从零搭建大模型开源AngelSlim大模型压缩工具,覆盖混元内部业务落地、开源模型压缩等领域。并且自研了成熟的大模型压缩算法,服务于公司内部60%以上大模型场景,对于业务及技术理解深入。
演讲主题
打通大模型落地最后一公里:大模型压缩落地实践
大模型加速压缩是降本增效的必要手段,本议题将分享当前大规模产业落地的前沿压缩算法、落地实践方式,以及大模型压缩开源工具AngelSlim。在压缩算法方面,将从业务角度以及技术角度分享更有效、更通用的模型压缩方法,包括量化、投机采样、稀疏化等方法,并且从多个模态,文生文,多模态理解/生成不同领域进行分享。在大模型压缩工具方面,将分享混元自研AngelSlim开源压缩工具包,从工具化封装、性能优化、创新算法以及一键式调用实践进行分享,助力大模型低成本高效部署。
打通大模型落地最后一公里:大模型压缩落地实践
大模型加速压缩是降本增效的必要手段,本议题将分享当前大规模产业落地的前沿压缩算法、落地实践方式,以及大模型压缩开源工具AngelSlim。在压缩算法方面,将从业务角度以及技术角度分享更有效、更通用的模型压缩方法,包括量化、投机采样、稀疏化等方法,并且从多个模态,文生文,多模态理解/生成不同领域进行分享。在大模型压缩工具方面,将分享混元自研AngelSlim开源压缩工具包,从工具化封装、性能优化、创新算法以及一键式调用实践进行分享,助力大模型低成本高效部署。