3D Multi-Object Tracking with Differentiable Pose Estimation

要約

屋内環境でのRGB-Dシーケンスからの共同3Dマルチオブジェクト追跡と再構成のための新しいアプローチを提案します。
この目的のために、正規化されたオブジェクト空間への密な対応マッピングを予測しながら、各フレームでオブジェクトを検出して再構築します。
これらの対応を利用して、グラフニューラルネットワークに通知し、すべてのオブジェクトの最適で時間的に一貫性のある7-DoFポーズ軌道を解決します。
私たちの方法の目新しさは2つあります。最初に、最適なポーズ軌道を学習するために、時間の経過とともに微分可能なポーズ推定のための新しいグラフベースのアプローチを提案します。
第二に、ロバストで幾何学的に一貫性のあるマルチオブジェクト追跡のための時間軸に沿った再構成とポーズ推定の共同定式化を提示します。
私たちのアプローチを検証するために、合成3D-FRONTデータセットから派生した移動オブジェクトとカメラ位置を使用したマルチオブジェクト追跡用に、合計60kのレンダリングされたRGB-D画像を含む2381の一意の屋内シーケンスで構成される新しい合成データセットを紹介します。
私たちの方法は、既存の最先端の方法に比べて、すべてのテストシーケンスの累積MOTAスコアを24.8％改善することを示しています。
合成および実世界のシーケンスに関するいくつかのアブレーションで、グラフベースの完全にエンドツーエンドで学習可能なアプローチにより、追跡パフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

We propose a novel approach for joint 3D multi-object tracking and reconstruction from RGB-D sequences in indoor environments. To this end, we detect and reconstruct objects in each frame while predicting dense correspondences mappings into a normalized object space. We leverage those correspondences to inform a graph neural network to solve for the optimal, temporally-consistent 7-DoF pose trajectories of all objects. The novelty of our method is two-fold: first, we propose a new graph-based approach for differentiable pose estimation over time to learn optimal pose trajectories; second, we present a joint formulation of reconstruction and pose estimation along the time axis for robust and geometrically consistent multi-object tracking. In order to validate our approach, we introduce a new synthetic dataset comprising 2381 unique indoor sequences with a total of 60k rendered RGB-D images for multi-object tracking with moving objects and camera positions derived from the synthetic 3D-FRONT dataset. We demonstrate that our method improves the accumulated MOTA score for all test sequences by 24.8% over existing state-of-the-art methods. In several ablations on synthetic and real-world sequences, we show that our graph-based, fully end-to-end-learnable approach yields a significant boost in tracking performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google