演讲主题

构造面向AI优化的Native Spark发行版

Spark作为业界最流行的大数据计算框架之一，广泛应用于各种大数据处理场景，但在AI场景中无论是功能还是性能都很难满足实际的上线需求。第四范式在源码级别进行优化，构造面向AI优化的Native Spark发行版，在保证兼容性的情况下多个AI大数据计算场景都有数倍以上的显著性能提升，本次分享将介绍内部Spark发行版的架构设计以及技术实现细节。