Towards 3D Object Detection with 2D Supervision

要約

3D オブジェクト検出器の大きな進歩は、大規模なデータと 3D 注釈に依存しています。
3D バウンディング ボックスのアノテーション コストは非常に高くつきますが、2D バウンディング ボックスは収集が簡単で安価です。
このホワイト ペーパーでは、3D 注釈がなくても、大規模な 2D (疑似) ラベルを使用してビジュアル 3D オブジェクト検出器を学習できるハイブリッド トレーニング フレームワークを紹介します。
2D の手がかりの情報のボトルネックを打破するために、新しい視点、Temporal 2D Supervision を探求します。
時間 2D ラベルを使用して 3D 予測を橋渡しする時間 2D 変換を提案します。
ホモグラフィ ラッピングと 2D ボックス推定を含む 2 つの手順を実行して、3D 予測を監視用の 2D 予測に変換します。
nuScenes データセットで実施された実験では、わずか 25% の 3D 注釈で強力な結果 (完全に監視されたパフォーマンスのほぼ 90%) が示されています。
私たちの調査結果が、3D 知覚のために多数の 2D 注釈を使用するための新しい洞察を提供できることを願っています。

要約(オリジナル)

The great progress of 3D object detectors relies on large-scale data and 3D annotations. The annotation cost for 3D bounding boxes is extremely expensive while the 2D ones are easier and cheaper to collect. In this paper, we introduce a hybrid training framework, enabling us to learn a visual 3D object detector with massive 2D (pseudo) labels, even without 3D annotations. To break through the information bottleneck of 2D clues, we explore a new perspective: Temporal 2D Supervision. We propose a temporal 2D transformation to bridge the 3D predictions with temporal 2D labels. Two steps, including homography wraping and 2D box deduction, are taken to transform the 3D predictions into 2D ones for supervision. Experiments conducted on the nuScenes dataset show strong results (nearly 90% of its fully-supervised performance) with only 25% 3D annotations. We hope our findings can provide new insights for using a large number of 2D annotations for 3D perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google