颜水成
新加坡工程院院士、IEEE Fellow、昆仑万维首席科学家
颜水成教授现任昆仑万维2050研究院院长、昆仑万维与Skywork AI首席科学家,曾任Sea首席科学家。颜水成是新加坡工程院院士、AAAI、ACM、IEEE 和 IAPR Fellow。他的研究领域包括计算机视觉、机器学习和多媒体分析。截至目前,颜水成教授已在国际顶级期刊和会议上发表论文800余篇,H指数为140+。颜水成教授的团队在Pascal VOC和ImageNet(ILSVRC)两项核心竞赛中获奖十余次。此外,他的团队还获得了十余项最佳论文和最佳学生论文奖,特别是在多媒体领域的顶级会议ACM Multimedia上获得了大满贯,包括三次最佳论文奖、两次最佳学生论文奖和最佳演示奖。
演讲主题
基础模型的根基
在本次分享中,我将基础模型的研究分为三个方面,分别对应三种误差,即近似误差、估计误差和优化误差。在近似误差方面,我将分享最近在模型架构方面取得的两个新进展:MoE++ 和 MoH。关于估计误差,我将分享我们在数据整理如何帮助奖励模型训练方面取得的进展。在优化误差方面,我将分享我们的新优化器 Adan 以及如何优化超级参数的工作。同时,我还将分享我们的两个新产品:SkyMusic 和 SkyReels。