Learnable Graph Matching: A Practical Paradigm for Data Association

要約

データの関連付けは、複数のオブジェクトの追跡、画像の照合、点群の登録など、多くのコンピューター ビジョン タスクの中核です。
既存の方法では、通常、ネットワーク フローの最適化、二部マッチング、またはエンドツーエンドの直接学習によって、データ関連付けの問題を解決します。
それらの人気にもかかわらず、現在のソリューションにはいくつかの欠陥があります。ビュー内のコンテキスト情報をほとんど無視します。
さらに、ディープ アソシエーション モデルをエンド ツー エンドの方法でトレーニングし、最適化ベースの割り当て方法の利点をほとんど利用しないか、既製のニューラル ネットワークのみを使用して特徴を抽出します。
この論文では、これらの問題に対処するための一般的な学習可能なグラフ マッチング手法を提案します。
特に、ビュー内の関係を無向グラフとしてモデル化します。
次に、データの関連付けは、グラフ間の一般的なグラフ マッチング問題に変わります。
さらに、最適化をエンドツーエンドで微分可能にするために、元のグラフ マッチング問題を連続二次計画法に緩和し、KKT 条件と陰関数定理を使用してディープ グラフ ニューラル ネットワークにトレーニングを組み込みます。
MOTタスクでは、私たちの方法はいくつかのMOTデータセットで最先端のパフォーマンスを達成しています。
画像マッチングの場合、私たちの方法は、人気のある屋内データセットである ScanNet で半分のトレーニング データと反復を使用する最先端の方法よりも優れています。
コードは https://github.com/jiaweihe1996/GMTracker で入手できます。

要約(オリジナル)

Data association is at the core of many computer vision tasks, e.g., multiple object tracking, image matching, and point cloud registration. Existing methods usually solve the data association problem by network flow optimization, bipartite matching, or end-to-end learning directly. Despite their popularity, we find some defects of the current solutions: they mostly ignore the intra-view context information; besides, they either train deep association models in an end-to-end way and hardly utilize the advantage of optimization-based assignment methods, or only use an off-the-shelf neural network to extract features. In this paper, we propose a general learnable graph matching method to address these issues. Especially, we model the intra-view relationships as an undirected graph. Then data association turns into a general graph matching problem between graphs. Furthermore, to make optimization end-to-end differentiable, we relax the original graph matching problem into continuous quadratic programming and then incorporate training into a deep graph neural network with KKT conditions and implicit function theorem. In MOT task, our method achieves state-of-the-art performance on several MOT datasets. For image matching, our method outperforms state-of-the-art methods with half training data and iterations on a popular indoor dataset, ScanNet. Code will be available at https://github.com/jiaweihe1996/GMTracker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google