Every Dataset Counts: Scaling up Monocular 3D Object Detection with Joint Datasets Training

要約

単眼の 3D 物体検出は自動運転において重要な役割を果たします。
ただし、既存の単眼 3D 検出アルゴリズムは、LiDAR 測定から得られる 3D ラベルに依存しているため、新しいデータセットを取得するにはコストがかかり、新しい環境に導入するのは困難です。
具体的には、この研究では、3D および 2D データセットの多様なコレクションで単眼 3D 物体検出モデルをトレーニングするためのパイプラインを調査します。
提案されたフレームワークは 3 つのコンポーネントで構成されます: (1) さまざまなカメラ設定にわたって機能できる堅牢な単眼 3D モデル、(2) 異なるクラス アノテーションを持つデータセットに対応するための選択トレーニング戦略、(3) 2D を使用した疑似 3D トレーニング アプローチ
ラベルを使用すると、2D ラベルのみを含むシーンでの検出パフォーマンスが向上します。
このフレームワークを使用すると、さまざまなオープン 3D/2D データセットの結合セットでモデルをトレーニングし、2D ラベルのみを持つ新しいデータセットで非常に強力な汎化機能と強化されたパフォーマンスを備えたモデルを取得できます。
提案された方法のスケーリング能力を実証するために、KITTI/nuScenes/ONCE/Cityscapes/BDD100K データセットに対して広範な実験を実施します。

要約(オリジナル)

Monocular 3D object detection plays a crucial role in autonomous driving. However, existing monocular 3D detection algorithms depend on 3D labels derived from LiDAR measurements, which are costly to acquire for new datasets and challenging to deploy in novel environments. Specifically, this study investigates the pipeline for training a monocular 3D object detection model on a diverse collection of 3D and 2D datasets. The proposed framework comprises three components: (1) a robust monocular 3D model capable of functioning across various camera settings, (2) a selective-training strategy to accommodate datasets with differing class annotations, and (3) a pseudo 3D training approach using 2D labels to enhance detection performance in scenes containing only 2D labels. With this framework, we could train models on a joint set of various open 3D/2D datasets to obtain models with significantly stronger generalization capability and enhanced performance on new dataset with only 2D labels. We conduct extensive experiments on KITTI/nuScenes/ONCE/Cityscapes/BDD100K datasets to demonstrate the scaling ability of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google