S2-Track: A Simple yet Strong Approach for End-to-End 3D Multi-Object Tracking

要約

3D複数オブジェクト追跡（MOT）は、自律的な駆動知覚において重要な役割を果たします。
最近のエンドツーエンドのクエリベースのトラッカーは、3D MOTタスクの有望な可能性を示したオブジェクトを同時に検出および追跡します。
ただし、既存の方法はまだ開発の初期段階にあり、系統的な改善が欠けており、オクルージョンやターゲットオブジェクトの状況の小さなサイズなど、特定の複雑なシナリオでオブジェクトを追跡できません。
このペーパーでは、最初に、クエリの初期化、クエリ伝播、クエリマッチングの3つの構成部品に分解することにより、現在のエンドツーエンドの3D MOTフレームワークを要約します。
次に、対応する改善を提案します。これは、強力でありながらシンプルなトラックであるS2-Trackにつながります。
具体的には、クエリの初期化のために、2Dプロンプトのクエリ初期化を提示します。これは、2Dオブジェクトと深さ情報をレバレッジして、オブジェクトの3D位置の初期推定を促します。
クエリの伝播については、不確実な確率的デコーダーを導入して、確率的な注意を払ってオブジェクト予測における複雑な環境の不確実性をキャプチャします。
クエリマッチングについては、トレーニングの堅牢性と収束を強化するための階層クエリ除去戦略を提案します。
その結果、S2-Trackは、Nuscenesベンチマークで最先端のパフォーマンスを達成します。つまり、テスト分割で66.3％AMOTAを達成し、以前のベストエンドツーエンドソリューションを8.9％AMOTAの有意なマージンで上回ります。
タスクリーダーボードを追跡するNuscenesで1位を獲得しました。

要約(オリジナル)

3D multiple object tracking (MOT) plays a crucial role in autonomous driving perception. Recent end-to-end query-based trackers simultaneously detect and track objects, which have shown promising potential for the 3D MOT task. However, existing methods are still in the early stages of development and lack systematic improvements, failing to track objects in certain complex scenarios, like occlusions and the small size of target object’s situations. In this paper, we first summarize the current end-to-end 3D MOT framework by decomposing it into three constituent parts: query initialization, query propagation, and query matching. Then we propose corresponding improvements, which lead to a strong yet simple tracker: S2-Track. Specifically, for query initialization, we present 2D-Prompted Query Initialization, which leverages predicted 2D object and depth information to prompt an initial estimate of the object’s 3D location. For query propagation, we introduce an Uncertainty-aware Probabilistic Decoder to capture the uncertainty of complex environment in object prediction with probabilistic attention. For query matching, we propose a Hierarchical Query Denoising strategy to enhance training robustness and convergence. As a result, our S2-Track achieves state-of-the-art performance on nuScenes benchmark, i.e., 66.3% AMOTA on test split, surpassing the previous best end-to-end solution by a significant margin of 8.9% AMOTA. We achieve 1st place on the nuScenes tracking task leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google