Temporal Enhanced Training of Multi-view 3D Object Detector via Historical Object Prediction

要約

タイトル: 時系列情報を活用したマルチビュー3D物体検出器のTemporal Enhanced Trainingの提案
要約:
– 新しいパラダイム、Historical Object Prediction(HoP)を提案
– HoPは、現在の時間tから、その前のフレームの時間t-kの擬似バードアイビュー（BEV）のオブジェクトを予測するために、DEEP LEARNINGを利用する方法
– マルチビュー3D検出器をより正確に学習するために、過去のタイムスタンプで発生するオブジェクトの空間的な位置と時間的な動きを捕捉する必要があるという考えに基づいて、HoPは生成された擬似BEV機能を利用してオブジェクトを予測する方法に基づいている
– 短期および長期の時系列デコーダーを設計し、生成された擬似BEV機能を使用してオブジェクト目標を予測するために、追加のオブジェクトデコーダーを使用することができるように設計されている
– 推論中にHoPは実行しないので、追加のオーバーヘッドは発生しない
– HoPは簡単に最新のBEV検出フレームワークに組み込むことができ、既存の時間モデル化手法とも補完性があるため、大幅な性能向上をもたらす
– nuScenesデータセットでHoPの効果を評価するため、BEVFormerおよびBEVDet4D-Depthの代表的な方法を選択した
– HoPは、nuScenesテストでViT-Lとともに68.5%のNDSと62.4%のmAPを達成し、リーダーボード上のすべての3Dオブジェクト検出器を上回る。

要約(オリジナル)

In this paper, we propose a new paradigm, named Historical Object Prediction (HoP) for multi-view 3D detection to leverage temporal information more effectively. The HoP approach is straightforward: given the current timestamp t, we generate a pseudo Bird’s-Eye View (BEV) feature of timestamp t-k from its adjacent frames and utilize this feature to predict the object set at timestamp t-k. Our approach is motivated by the observation that enforcing the detector to capture both the spatial location and temporal motion of objects occurring at historical timestamps can lead to more accurate BEV feature learning. First, we elaborately design short-term and long-term temporal decoders, which can generate the pseudo BEV feature for timestamp t-k without the involvement of its corresponding camera images. Second, an additional object decoder is flexibly attached to predict the object targets using the generated pseudo BEV feature. Note that we only perform HoP during training, thus the proposed method does not introduce extra overheads during inference. As a plug-and-play approach, HoP can be easily incorporated into state-of-the-art BEV detection frameworks, including BEVFormer and BEVDet series. Furthermore, the auxiliary HoP approach is complementary to prevalent temporal modeling methods, leading to significant performance gains. Extensive experiments are conducted to evaluate the effectiveness of the proposed HoP on the nuScenes dataset. We choose the representative methods, including BEVFormer and BEVDet4D-Depth to evaluate our method. Surprisingly, HoP achieves 68.5% NDS and 62.4% mAP with ViT-L on nuScenes test, outperforming all the 3D object detectors on the leaderboard. Codes will be available at https://github.com/Sense-X/HoP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI