报告题目：多模态对齐技术研究
主讲人：赵洲，浙江大学，副教授
时间：2021年04月14日（星期三）16：00-18：00
地点：厦大海韵园行政A103会议室
摘要：
多模态对齐负责来自同一个实例的不同模态信息元素寻找对应关系，归纳为显示对齐和隐式对齐。显示对齐的目标是找到数据中模态间关系，应用于语音信号和翻译文本的对齐、多通道序列的同步和图片/视频的定位。隐式对齐利用模态内在的隐对齐来提高算法的性能，应用于跨模态检索、视觉自动描述生成和视觉问答。当前，多模态对齐具有以下挑战：1、不同模态数据之间通常具有长度差异；2、不同模态数据之间通常具有语意（信息量）差异。针对以上挑战，最近的工作提出了一些较为有效的解决思路：基于时长预测模型和脉冲神经网络的非自回归架构均可以较好地预测和填补缺失的信息，并解决长度不匹配问题；基于反事实对比学习技术可以很好的表示语义细微差异化信息，并解决鲁棒性多模态对齐问题。
报告人简介：
赵洲,浙江大学计算机学院,副教授，博导，IEEE, ACM, CCF会员。2015年博士毕业于香港科技大学。从事多媒体关键技术研发。在NIPS、ICLR、ICML、CVPR等会议发表60余篇论文，被引3000+次(Google Scholar)。 主持国家自然基金面上项目和青年项目，以及浙江省自然基金杰出青年基金项目。
邀请人：人工智能系，纪荣嵘教授