Improving the matching of deformable objects by learning to detect keypoints

要約

非剛体画像対応付けのタスクにおいて、正しいマッチング数を増加させるための新しい学習型キーポイント検出法を提案する。注釈付き画像ペアを指定された記述子抽出器でマッチングすることで得られる真の対応関係を活用することで、我々は、考慮された記述子により適したキーポイント位置を見つけるために、エンドツーエンドの畳み込みニューラルネットワーク（CNN）を学習する。そのために、幾何学的ワーピングと測光的ワーピングを画像に適用して監視信号を生成し、検出器の最適化を可能にする。また、複雑な実世界のタスクである物体検索に本手法を適用したところ、本検出器はこのタスクで現在利用可能な最も優れたキーポイント検出器と同等の性能を示した。ソースコードと学習済みモデルは https://github.com/verlab/LearningToDetect_PRL_2023 で公開されている。

要約(オリジナル)

We propose a novel learned keypoint detection method to increase the number of correct matches for the task of non-rigid image correspondence. By leveraging true correspondences acquired by matching annotated image pairs with a specified descriptor extractor, we train an end-to-end convolutional neural network (CNN) to find keypoint locations that are more appropriate to the considered descriptor. For that, we apply geometric and photometric warpings to images to generate a supervisory signal, allowing the optimization of the detector. Experiments demonstrate that our method enhances the Mean Matching Accuracy of numerous descriptors when used in conjunction with our detection method, while outperforming the state-of-the-art keypoint detectors on real images of non-rigid objects by 20 p.p. We also apply our method on the complex real-world task of object retrieval where our detector performs on par with the finest keypoint detectors currently available for this task. The source code and trained models are publicly available at https://github.com/verlab/LearningToDetect_PRL_2023

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL