要約
タイトル：複数カメラ3Dオブジェクト検出とトラッキングのための再帰的ダイナミックオブジェクト（DORT）のモデリング
要約：
– 多視点ステレオを構築して不十分な深さ推定を緩和するため、最近の多カメラ3Dオブジェクト検出器では通常、時間情報を利用する。しかし、これらの手法では、すべてのオブジェクトが静的であると想定して、直接フレーム間の特徴を集約するため、移動するオブジェクトの動きを無視することが多い。この論文では、移動するオブジェクトの動きを無視することが、ローカリゼーションのバイアスを引き起こす可能性があることを理論的および経験的に分析し、この問題に対処するために再帰的ダイナミックオブジェクト（DORT）を提案する。
– DORTは、従来のグローバルバードアイビュー（BEV）手法とは異なり、オブジェクトごとの局所ボリュームを抽出して動きの推定を行うため、重い計算負荷を軽減する。推定されたオブジェクトの動きと位置を反復的に洗練し、先行する特徴を現在のフレームに正確に集約することにより、前述の不利益を緩和することができる。
– このシンプルなフレームワークには、2つの重要なアピールポイントがある。1つは、ほとんどのカメラベースの3Dオブジェクト検出器に容易に組み込むことができる柔軟性と実用性。もう1つは、ループ内のオブジェクトの動きの予測があるため、最近の中心距離に基づいてフレーム間でオブジェクトを簡単にトラッキングできること。DORTは、騒々しい要素がなくても、nuScenesの検出とトラッキングベンチマークで、それぞれ62.5％のNDSと57.6％のAMOTAで、以前のすべての手法を上回った。ソースコードは公開されます。
要約(オリジナル)
Recent multi-camera 3D object detectors usually leverage temporal information to construct multi-view stereo that alleviates the ill-posed depth estimation. However, they typically assume all the objects are static and directly aggregate features across frames. This work begins with a theoretical and empirical analysis to reveal that ignoring the motion of moving objects can result in serious localization bias. Therefore, we propose to model Dynamic Objects in RecurrenT (DORT) to tackle this problem. In contrast to previous global Bird-Eye-View (BEV) methods, DORT extracts object-wise local volumes for motion estimation that also alleviates the heavy computational burden. By iteratively refining the estimated object motion and location, the preceding features can be precisely aggregated to the current frame to mitigate the aforementioned adverse effects. The simple framework has two significant appealing properties. It is flexible and practical that can be plugged into most camera-based 3D object detectors. As there are predictions of object motion in the loop, it can easily track objects across frames according to their nearest center distances. Without bells and whistles, DORT outperforms all the previous methods on the nuScenes detection and tracking benchmarks with 62.5\% NDS and 57.6\% AMOTA, respectively. The source code will be released.
arxiv情報
| 著者 | Qing Lian,Tai Wang,Dahua Lin,Jiangmiao Pang |
| 発行日 | 2023-04-19 01:58:41+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI