张奇
复旦大学教授,MOSS大模型核心人员
复旦大学计算科学技术学院教授、博士生导师。兼任中国中文信息学会理事、中国人工智能青年工作委员会常务委员、SIGIR Beijing Chapter组织委员会委员等。在ACL、EMNLP、COLING、全国信息检索大会等重要国际国内会议多次担任程序委员会主席、领域主席、讲习班主席等。发表论文150余篇,获得美国授权专利4项,著有《自然语言处理导论》、《大规模语言模型:从理论到实践》。
演讲主题
大规模语言模型中的语言与知识
大规模语言模型在许多领域展示出了巨大的潜力。在自然语言处理领域,在机器翻译、情感分析、文本摘要、问题回答等很多任务上通过少量有监督微调数据,就可以达到SOTA结果。特别是在多语言机器翻译中所表现出来的少样本学习能力,令人惊艳。在本次介绍中,我们将针对大规模语言模型的语言迁移能力,介绍我们近期的研究成果。大规模语言模型在预训练完成后具有已经具备了很好的语言底层对齐能力,仅使用不到预训练数据的1%的数据,也能够达到非常好的迁移性能。