海韵讲座第92期

报告题目：跨模态图像到食谱检索

主讲人：Chong-Wah Ngo 香港城市大学

时间：2019年12月27日9:30-10:40

地点：海韵行政楼A201

报告简介：

   当前，关于多类菜品的识别已经获得很大的成功。即使在大数据集上，前一准确率普遍可以达到80-90%。然而，由于需要大量地数据收集，清洗以及人工标注，将菜品识别从几百类扩展到上千类仍然十分具有挑战性。另外，菜品的热衷度通常是一个长尾分布，采用大规模多类学习的方式进行识别会面临训练样本不平衡的问题。为了克服这些问题，目前采用检索食谱的方式来进行菜品识别。通过检索食谱，我们不仅能够识别菜品，还可以提取菜品的各种属性，包括原料和食谱等。更为重要的是，当只需要标注菜品图样与食谱的配对，用于收集训练数据的开销可以显著降低。本讲座将主要介绍多类、多标签的菜品识别以及基于食谱检索的菜品识别。讲座将讨论关于这两类方法的优势与局限性，并且展望两种方法在解决大规模菜品识别问题上所面临的挑战。

报告人简介：

Chong-Wah Ngo 教授目前任职于香港城市大学计算机系。他早年毕业于新加坡南洋理工大学，获得本科及硕士学位，于2002年毕业与香港科技大学，获哲学博士学位。在加入香港城市大学之前，他曾经在伊利诺伊大学香槟分校贝克曼学院从事博士后研究工作。他主要的研究方向包括多媒体信息检索、视频计算、多媒体数据挖掘和可视化。

他曾经担任IEEE Trans. on Multimedia副主编。目前是TRECVid，国际会议ICMR以及ACM Multimedia Asia的执委。他是ACM Multimedia 2019，ICIMCS 2018和PCM 2018的共同主席。他还曾经担任ACM香港区主席。为了表彰他对视频加锁和语义理解的贡献，2016年被授予ACM杰出科学家贡献奖。

邀请人：赵万磊 计算机系