Multi-Object Tracking and Segmentation via Neural Message Passing

要約

グラフは、検出による追跡パラダイム内で複数オブジェクト追跡（MOT）および複数オブジェクト追跡およびセグメンテーション（MOTS）を定式化する自然な方法を提供します。
ただし、そのような構造化されたドメインで動作できるモデルを定義することは簡単ではないため、学習方法に大きな課題ももたらします。
この作業では、MOTの従来のネットワークフローの定式化を利用して、メッセージパッシングネットワーク（MPN）に基づく完全に差別化可能なフレームワークを定義します。
グラフドメインを直接操作することにより、私たちの方法は、検出のセット全体をグローバルに推論し、コンテキスト機能を活用できます。
次に、2つのタスク間の相乗効果を活用しながら、シーン内のすべてのオブジェクトのデータ関連付け問題とセグメンテーションマスクの両方の最終的な解決策を共同で予測します。
いくつかの公開されているデータセットで、追跡とセグメンテーションの両方で最先端の結果を達成しています。
私たちのコードはgithub.com/ocetintas/MPNTrackSegで入手できます。

要約(オリジナル)

Graphs offer a natural way to formulate Multiple Object Tracking (MOT) and Multiple Object Tracking and Segmentation (MOTS) within the tracking-by-detection paradigm. However, they also introduce a major challenge for learning methods, as defining a model that can operate on such structured domain is not trivial. In this work, we exploit the classical network flow formulation of MOT to define a fully differentiable framework based on Message Passing Networks (MPNs). By operating directly on the graph domain, our method can reason globally over an entire set of detections and exploit contextual features. It then jointly predicts both final solutions for the data association problem and segmentation masks for all objects in the scene while exploiting synergies between the two tasks. We achieve state-of-the-art results for both tracking and segmentation in several publicly available datasets. Our code is available at github.com/ocetintas/MPNTrackSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google