Li3DeTr: A LiDAR based 3D Detection Transformer

要約

物体検出用のビジョン トランスフォーマーの最近の進歩に着想を得て、自動運転用のエンドツーエンドの LiDAR ベースの 3D 検出トランスフォーマーである Li3DeTr を提案します。このトランスフォーマーは、LiDAR ポイント クラウドを入力し、3D バウンディング ボックスを回帰します。
LiDAR のローカル機能とグローバル機能は、それぞれスパース畳み込みとマルチスケールの変形可能アテンションを使用してエンコードされます。
デコーダー ヘッドでは、まず、新しい Li3DeTr 相互注意ブロックで、データから学習したオブジェクト クエリのスパース セットを活用して、LiDAR グローバル機能を 3D 予測にリンクします。
第二に、オブジェクトクエリの相互作用は、マルチヘッドセルフアテンションを使用して定式化されます。
最後に、デコーダ層が $L_{dec}$ 回繰り返され、オブジェクト クエリが改良されます。
DETR に着想を得て、Li3DeTr ネットワークのトレーニングにセット間の損失を採用しています。
付加機能がなければ、Li3DeTr ネットワークは、nuScenes データセットで非最大抑制 (NMS) を使用する最先端の方法を上回る 61.3% の mAP と 67.6% の NDS を達成し、KITTI データセットでも競争力のあるパフォーマンスを達成します。
また、ネットワークのパフォーマンスをわずかに向上させる教師と生徒のモデルを使用して、知識の蒸留 (KD) も採用しています。

要約(オリジナル)

Inspired by recent advances in vision transformers for object detection, we propose Li3DeTr, an end-to-end LiDAR based 3D Detection Transformer for autonomous driving, that inputs LiDAR point clouds and regresses 3D bounding boxes. The LiDAR local and global features are encoded using sparse convolution and multi-scale deformable attention respectively. In the decoder head, firstly, in the novel Li3DeTr cross-attention block, we link the LiDAR global features to 3D predictions leveraging the sparse set of object queries learnt from the data. Secondly, the object query interactions are formulated using multi-head self-attention. Finally, the decoder layer is repeated $L_{dec}$ number of times to refine the object queries. Inspired by DETR, we employ set-to-set loss to train the Li3DeTr network. Without bells and whistles, the Li3DeTr network achieves 61.3% mAP and 67.6% NDS surpassing the state-of-the-art methods with non-maximum suppression (NMS) on the nuScenes dataset and it also achieves competitive performance on the KITTI dataset. We also employ knowledge distillation (KD) using a teacher and student model that slightly improves the performance of our network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google