近日，我院沈雪仑博士、胡倩硕士、王程教授和德州农工大学李昕教授共同完成的论文“A Detector-Oblivious Multi-Arm Network for Keypoint Matching”在国际学术期刊《IEEE Transactions on Image Processing》（TIP）上发表（DOI：10.1109/TIP.2023.3274482）。TIP是计算机科学领域顶级国际期刊之一，是中国计算机学会推荐的A类期刊。
关键点匹配研究的是如何在两张视图中找到相同物体或场景的对应特征点。关键点匹配方法在计算机视觉和图像处理领域有着广泛应用，如图像拼接、三维重建、视觉重定位和增强现实等。在生活中, 拍摄全景图像、进行以图搜图还有扫地机器人等现实场景都会用到关键点匹配方法。
该论文提出了一个可用于任何关键点检测器的关键点匹配网络，并可以通过学习重叠区域和深度区域的对应性来提高匹配的性能。前人提出的关键点匹配网络，比如 SuperGlue，需要针对不同的关键点检测器进行重新训练，来适配检测器的特性。该论文在经过实验发现和结构优化之后，提出了一种新的匹配网络，该网络在经过训练之后可以用在不同的关键点检测器中，不需要进行耗时的重新训练过程。此外，该网络在训练过程中学习了重叠区域和深度区域的区域级对应关系：重叠区域代表两张匹配图像的重叠区域；深度区域代表两张图像中景物的前后景区域，并针对不同的区域级对应关系提出了划分方法、训练方法和损失函数，给匹配网络带来了显著的性能提升。