Self-supervised Interest Point Detection and Description for Fisheye and Perspective Images

要約

キーポイントの検出とマッチングは、形状の再構成から動きからの構造、AR/VR アプリケーションやロボティクスに至るまで、多くのコンピューター ビジョンの問題における基本的なタスクです。
これは、SIFT やより最近の深層学習アプローチなどの目覚ましい成功を収めている、よく研究された問題です。
これらの技術は、ノイズ、照明変動、および剛体運動変換に関して優れたロバスト性を示しますが、画像歪みの感度についてはあまり注目されていません。
この研究では、これが画像取得に使用されるカメラの形状によって引き起こされる場合に焦点を当て、魚眼と投影画像のハイブリッド シナリオの間のキーポイントの検出とマッチングの問題を検討します。
私たちは最先端のアプローチに基づいて構築し、特徴点検出器と記述子ネットワークのトレーニングを可能にする自己教師あり手順を導き出します。
また、この未踏のシナリオで追加のトレーニングとテストを行うために 2 つの新しいデータセットを収集しました。また、現在のアプローチは従来の射影条件で機能するように設計されているため最適ではないが、提案されたアプローチが最も効果的であることが判明したことを示しています。

要約(オリジナル)

Keypoint detection and matching is a fundamental task in many computer vision problems, from shape reconstruction, to structure from motion, to AR/VR applications and robotics. It is a well-studied problem with remarkable successes such as SIFT, and more recent deep learning approaches. While great robustness is exhibited by these techniques with respect to noise, illumination variation, and rigid motion transformations, less attention has been placed on image distortion sensitivity. In this work, we focus on the case when this is caused by the geometry of the cameras used for image acquisition, and consider the keypoint detection and matching problem between the hybrid scenario of a fisheye and a projective image. We build on a state-of-the-art approach and derive a self-supervised procedure that enables training an interest point detector and descriptor network. We also collected two new datasets for additional training and testing in this unexplored scenario, and we demonstrate that current approaches are suboptimal because they are designed to work in traditional projective conditions, while the proposed approach turns out to be the most effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google