免费领取大会全套演讲PPT    

报名领取

我要参会

Lukasz Kaiser

OpenAI研究科学家,Transformer共同创始人

Lukasz目前是谷歌大脑团队的高级研究科学家,致力于深度学习和自然语言处理的核心基础架构。他是TensorFlow系统、Tensor2Tensor库和Transformer模型的共同创始人。他为机器翻译、解析和其他算法与生成性任务共同设计了最先进的神经模型。Lukasz于2013年加入谷歌。在加入谷歌之前,他是法国巴黎狄德罗大学的终身研究员,从事逻辑和自动机理论的研究。他于2008年在德国亚琛工业大学获得博士学位。

演讲主题

* “青春期”的深度学习:现状与未来展望

在本场演讲中,我将首先回顾过去十年深度学习所取得的显著成就,包括哪些具体的任务得到了提升,以及硬件、软件、和数据带来的进步。我们还会审视那些尚未被解决的问题,以及很多团队为解决它们所做的各种尝试。 最后我会对深度学习在未来几年可能的变化做一个展望。

* 设计高性能Transformer 模型

Transformer 模型已被应用于许多机器学习领域,并且在很多NLP任务上产生了很好的效果。但在BERT、GPT-3和许多其他变体上,它们的效率很低,很难使用。我将介绍一种新的高效Transformer。我将带你了解主要设计的方法,并说明它是如何解决之前的Transformer在长序列上的内存使用量大、性能低的问题。最后我将介绍一些它所开启的新的应用。

© boolan.com 博览 版权所有

沪ICP备15014563号-6

沪公网安备31011502003949号