Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection

要約

この論文では、マルチビュー 3D オブジェクト検出のために、StreamPETR という名前のロング シーケンス モデリング フレームワークを提案します。
PETR シリーズのスパース クエリ設計に基づいて、オブジェクト中心の時間的メカニズムを体系的に開発します。
モデルはオンラインで実行され、長期的な履歴情報はオブジェクト クエリを通じてフレームごとに伝播されます。
さらに、オブジェクトの動きをモデル化するために、モーション認識レイヤーの正規化を導入します。
StreamPETR は、単一フレームのベースラインと比較して、ごくわずかな計算コストでのみ大幅なパフォーマンスの向上を実現します。
標準の nuScenes ベンチマークでは、新しい最先端のパフォーマンス (63.6% NDS) に達しています。
軽量版は 45.0% の mAP と 31.7 FPS を実現し、最先端の方式 (SOLOFusion) を 2.3% の mAP と 1.8 倍の FPS で上回っています。
コードは https://github.com/exiawsh/StreamPETR.git で入手できます。

要約(オリジナル)

In this paper, we propose a long-sequence modeling framework, named StreamPETR, for multi-view 3D object detection. Built upon the sparse query design in the PETR series, we systematically develop an object-centric temporal mechanism. The model is performed in an online manner and the long-term historical information is propagated through object queries frame by frame. Besides, we introduce a motion-aware layer normalization to model the movement of the objects. StreamPETR achieves significant performance improvements only with negligible computation cost, compared to the single-frame baseline. On the standard nuScenes benchmark, it reaches a new state-of-the-art performance (63.6% NDS). The lightweight version realizes 45.0% mAP and 31.7 FPS, outperforming the state-of-the-art method (SOLOFusion) by 2.3% mAP and 1.8x faster FPS. Code will be available at https://github.com/exiawsh/StreamPETR.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google