Image Patch-Matching with Graph-Based Learning in Street Scenes

要約

車載カメラで撮影したリアルタイム画像のランドマーク パッチと画像データベース内のランドマーク パッチを照合することは、自動運転のためのさまざまなコンピュータ認識タスクにおいて重要な役割を果たします。
現在の方法は、関心のある領域の局所的なマッチングに焦点を当てており、通常は環境内のオブジェクトに対応する画像パッチ間の空間的近傍関係を考慮していません。
この論文では、空間近傍情報を捕捉するパッチとエッジに対応するグラフ頂点を持つ空間グラフを構築します。
グラフベースの学習を使用した統合特徴量学習モデルとメトリック学習モデルを提案します。
一致するペアと不一致のペアを条件とした分布間の情報距離がフレームワークの下で最大化されることを示すことで、グラフベースの損失の理論的根拠を提供します。
私たちはいくつかの街路シーンのデータセットを使用してモデルを評価し、私たちのアプローチが最先端のマッチング結果を達成することを実証します。

要約(オリジナル)

Matching landmark patches from a real-time image captured by an on-vehicle camera with landmark patches in an image database plays an important role in various computer perception tasks for autonomous driving. Current methods focus on local matching for regions of interest and do not take into account spatial neighborhood relationships among the image patches, which typically correspond to objects in the environment. In this paper, we construct a spatial graph with the graph vertices corresponding to patches and edges capturing the spatial neighborhood information. We propose a joint feature and metric learning model with graph-based learning. We provide a theoretical basis for the graph-based loss by showing that the information distance between the distributions conditioned on matched and unmatched pairs is maximized under our framework. We evaluate our model using several street-scene datasets and demonstrate that our approach achieves state-of-the-art matching results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google