近日，国际顶级学术期刊 《IEEE Transactions on Pattern Analysis and Machine Intelligence》(PAMI)接收了williamhill官网纪荣嵘教授团队的最新研究成果“MIGO-NAS: Towards Fast and Generalizable Neural Architecture Search”。PAMI是计算机学科领域最顶级的国际期刊，其影响因子17.861。
该论文提出了一种基于快速泛化性好的神经网络结构检索技术，简称MIGO-NAS。
该论文旨在解决神经网络结构检索在参数共享情况下结构检索效率问题，一方面吸取以及改进了传统神经网络结构检索的优点：在参数共享的基础之上，提出了多维度信息集合优化，极大的提升了搜索效率, 另一方面克服了传统神经网络泛化性能差的问题，多维度信息集合优化可以针对不同的搜索空间，并且搜索到的网络结构也可以在其他任务中使用。
具体地来说，我们提出了一个泛化性强以及运行高效的 MIGO-NAS 搜索框架。流程如上图所示，我们提出了一个信息几何优化优化 (Multivariate InformationGeometric Optimization，MIGO) 算法以快速的基于动态规划网络生成 (Dynamic Programming Network Generation，DPNG) 算法。该算法算法首先使用随机松弛将原始优化问题转化为具有特定分布的可微优化问题。然后讨论了多元分布中自然梯度的潜在估计误差。针对如何减少这种估计误差提出了创新性的算法，该算法对于黑盒优化以及神经网络结构检索问题极为重要，因为大多数神经网络结构检索问题都是用多元概率分布编码的。所提出的 MIGO-NAS 通过为具有较高网络结构精度排名的自然梯度分配相对较大的幅度来减少误差。这使得 MIGO-NAS 中自然梯度的估计变得更加准确，尤其是在多元分布中。该方法在理论上有保证，在改文章中，证明了对应方法的误差上届，并且目前在多个公开的图像检索评测集和评测模型上，都取得了最好的评估结果。
该论文由我校我院媒体分析与计算实验室的博士生郑侠武以及硕士生陈宇航、王强与其导师纪荣嵘（通讯作者）、北京航空航天大学张宝昌教授、北京大学陈杰以及田永鸿教授、中国科学院大学叶齐祥教授等合作完成。纪荣嵘教授团队系列研究成果的发布标志着我校在信息学科人工智能研究领域影响力的逐步提升。本项研究得到了包括国家杰出青年科学基金在内的项目的支持。