演讲主题

大模型推理在eBay的架构实践

随着AIGC技术的兴起，eBay各业务部门正积极应用AIGC以加速提升业务价值。然而，随着AIGC模型规模不断增大，机器学习平台的架构也面临更多挑战。为满足业务团队需求，eBay机器学习平台部门在基础架构层进行了多项升级，特别针对大规模AIGC模型的特点和应用场景。本次演讲将重点介绍eBay机器学习平台在大模型推理方面的架构实践，从大模型生命周期管理、模型部署和推理架构、模型优化以及提示工程几个方面来简述eBay机器学习平台在AIGC领域的工作。