Weakly Supervised Monocular 3D Object Detection using Multi-View Projection and Direction Consistency

要約

単眼の 3D オブジェクト検出は、その簡単な適用のために、自動運転における主流のアプローチになりました。
顕著な利点は、推論中に LiDAR 点群を必要としないことです。
ただし、現在のほとんどの方法は、トレーニング フェーズで使用されるグラウンド トゥルースにラベルを付けるために 3D ポイント クラウド データに依拠しています。
トレーニングと推論の間のこの不一致は、大規模なフィードバック データの活用を困難にし、データ収集費用を増加させます。
このギャップを埋めるために、画像にマークされた 2D ラベルのみを使用してモデルをトレーニングできる、新しく弱く監視された単眼 3D オブジェクト検出方法を提案します。
具体的には、このタスクでの 3 種類の一貫性、つまり投影、マルチビュー、方向の一貫性を調査し、これらの一貫性に基づいて弱教師付きアーキテクチャを設計します。
さらに、正確な回転方向予測のためにモデルを導くために、このタスクで新しい 2D 方向ラベリング方法を提案します。
実験によると、私たちの弱教師付きメソッドは、一部の完全教師付きメソッドと同等のパフォーマンスを達成することが示されています。
事前トレーニング方法として使用すると、モデルは対応する完全に監視されたベースラインよりもわずか 1/3 の 3D ラベルで大幅に優れています。
https://github.com/weakmono3d/weakmono3d

要約(オリジナル)

Monocular 3D object detection has become a mainstream approach in automatic driving for its easy application. A prominent advantage is that it does not need LiDAR point clouds during the inference. However, most current methods still rely on 3D point cloud data for labeling the ground truths used in the training phase. This inconsistency between the training and inference makes it hard to utilize the large-scale feedback data and increases the data collection expenses. To bridge this gap, we propose a new weakly supervised monocular 3D objection detection method, which can train the model with only 2D labels marked on images. To be specific, we explore three types of consistency in this task, i.e. the projection, multi-view and direction consistency, and design a weakly-supervised architecture based on these consistencies. Moreover, we propose a new 2D direction labeling method in this task to guide the model for accurate rotation direction prediction. Experiments show that our weakly-supervised method achieves comparable performance with some fully supervised methods. When used as a pre-training method, our model can significantly outperform the corresponding fully-supervised baseline with only 1/3 3D labels. https://github.com/weakmono3d/weakmono3d

arxiv情報

提供元, 利用サービス

arxiv.jp, Google