海韵讲座第61期

题目：预训练语言模型的研究与应用

主讲人：刘群，华为诺亚方舟实验室语音语义首席科学家

时间：2019年11月11日 9:30-10:30

地点：海韵园行政楼c505

报告摘要：本报告将介绍华为诺亚方舟实验室在预训练语言模型的研究和应用方面的一些进展。其中包括华为的中文预训练语言模型NEZHA、实体表示增强的预训练语言模型ERNIE、基于GPT的中文古诗生成、面向自然语言理解的预训练语言模型压缩TinyBERT等。

报告人简介：刘群，华为诺亚方舟实验室语音语义首席科学家，负责语音和自然语言处理研究。原爱尔兰都柏林城市大学教授、爱尔兰ADAPT中心自然语言处理主题负责人、中国科学院计算技术研究所研究员、自然语言处理研究组负责人。分别在中国科学技术大学、中科院计算所、北京大学获得计算机学士、硕士和博士学位。研究方向主要是自然语言理解、语言模型、机器翻译、问答、对话等。研究成果包括汉语词语切分和词性标注系统、基于句法的统计机器翻译方法、篇章机器翻译、机器翻译评价方法等。承担或参与众多中国、爱尔兰和欧盟大型科研项目。在国际会议和期刊发表论文300余篇，被引用7000多次。培养国内外博士硕士毕业生50多人。