演讲主题

构建企业级高性能模型推理平台

简介：随着人工智能技术的飞速发展，企业对于机器学习模型的依赖日益增加。然而，将这些模型有效地应用于实际业务场景，需要一个强大的推理平台作为支撑。作为eBay机器学习平台部门，我们需要保证模型的高效管理和快速上线迭代，同时不断提升线上推理服务性能以满足业务场景需求。本次演讲主要侧重eBay在模型推理服务优化上的一些工程实践，介绍我们在模型服务路由，推理性能优化以及计算资源优化等方面的工作。