DistillBEV: Boosting Multi-Camera 3D Object Detection with Cross-Modal Knowledge Distillation

要約

カメラは自動運転業界での大量生産に費用対効果が高いため、マルチカメラの鳥瞰図 (BEV) から学習した表現に基づく 3D 認識がトレンドになっています。
ただし、マルチカメラ BEV と LiDAR ベースの 3D 物体検出の間には、明らかなパフォーマンスのギャップが存在します。
主な理由の 1 つは、LiDAR が正確な深度やその他の幾何学的測定値を取得する一方で、単なる画像入力からそのような 3D 情報を推測することが困難であることで知られています。
この研究では、十分にトレーニングされた LiDAR ベースの教師検出器の機能を模倣するようにトレーニングすることで、マルチカメラ BEV ベースの学生検出器の表現学習を強化することを提案します。
私たちは、生徒が教師から重要な特徴を学ぶことに集中するように強制し、時間的融合によりマルチスケール層への知識伝達を一般化するための効果的なバランス戦略を提案します。
マルチカメラBEVの代表的な複数モデルについて広範な評価を実施しています。
実験の結果、私たちのアプローチが学生モデルよりも大幅に改善され、人気のベンチマーク nuScenes で最先端のパフォーマンスが得られることが明らかになりました。

要約(オリジナル)

3D perception based on the representations learned from multi-camera bird’s-eye-view (BEV) is trending as cameras are cost-effective for mass production in autonomous driving industry. However, there exists a distinct performance gap between multi-camera BEV and LiDAR based 3D object detection. One key reason is that LiDAR captures accurate depth and other geometry measurements, while it is notoriously challenging to infer such 3D information from merely image input. In this work, we propose to boost the representation learning of a multi-camera BEV based student detector by training it to imitate the features of a well-trained LiDAR based teacher detector. We propose effective balancing strategy to enforce the student to focus on learning the crucial features from the teacher, and generalize knowledge transfer to multi-scale layers with temporal fusion. We conduct extensive evaluations on multiple representative models of multi-camera BEV. Experiments reveal that our approach renders significant improvement over the student models, leading to the state-of-the-art performance on the popular benchmark nuScenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google