王超
腾云智算CTO
王超,现任GPU租赁初创公司腾云智算CTO,是拥有15年ICT行业产品研发与解决方案经验的技术领导者。曾在腾讯、华为、爱立信等全球知名企业担任技术与产品职位。 在腾讯期间,作为项目第一负责人主导的移动互联网安全产品达到10亿月活用户规模,并多次获得公司SVP总裁奖。目前专注于AI基础设施领域,团队在推理框架层面的技术创新被多个开源项目收录引用,Hugging Face平台模型下载量达20K+。致力于为全球大模型应用场景提供高性能GPU计算服务,推动AI技术的产业化应用。 王超先生获香港科技大学理学硕士学位,以及厦门大学工学与文学双学士,曾赴英国曼彻斯特大学、韩国浦项工业大学交流学习,具备全球化视野和跨文化技术合作能力。
演讲主题
面向新时代大模型开发者的端到端智算算力服务
从开发者找算力难,算力利用率低,算力使用成本高等痛点,介绍腾云ACC的解决方案架构,从底层供应链、高电机房基础设施、云平台技术架构、加速框架等,解决开发者在大模型场景下使用算力难的问题。同时,面向目前推理场景逐渐爆发的趋势,面向开发者推出ty-vllm等推理框架,以及投机推理服务,为开发者提升生产场景下的推理效率,降低推理成本。 大纲: 一、腾云智算概述 二、当前大模型开发者的痛点以及腾云解决方案 三、腾云智算云平台技术架构 四、腾云智算ACC解决方案核心技术优势 五、团队与案例介绍