演讲主题

基于ROCm的大模型推理优化

AMD ROCm是面向 AI 和高性能计算的开源软件堆栈，提供深度优化的高性能库（如 rocBLAS）与基于编译器的性能增强（如 OpenXLA、OpenAI Triton），并与 PyTorch、TensorFlow , vLLM 和 SGLang等主流框架深度集成，助力开发者充分发挥 AMD GPU性能，加速AI应用开发与部署。 AMD致力于构建开放且高性能的AI软件生态系统，通过 ROCm 平台与全球开发者社区紧密协作，重构AI生态规则，瓦解传统封闭生态的护城河，推动生成式 AI 技术的快速发展。ROCm 完全兼容主流上游框架，如PyTorch、TensorFlow ，JAX及开源推理引擎SGLang和vLLM。开发者无需修改代码即可在AMD GPU上运行工作负载，大幅降低了开发或迁移门槛。平台还针对深度学习任务进行了全面优化，提供卓越的性能与可扩展性，适配包括数据中心与边缘计算在内的多种硬件形态。ROCm成为推动下一代AI模型高效训练与推理的关键动力，也是广大用户，开发者寻求开放、高性能GPU 计算平台的理想之选。 AMD推出的AITER（AI Tensor Engine for ROCm）解决方案，基于深度优化的高性能AI算子和高效的通信库，用于加速AI工作负载，助力AI性能的提升，提升大模型的训练与推理效率，为AI应用提供高效的加速支持。AITER为所有客户算子级请求提供了一个统一的平台，能够满足不同客户的需求。开发者可以专注于算子本身，而客户则可以将这些算子集合集成到他们自己的私有/公共/其他框架中。