General Geometry-aware Weakly Supervised 3D Object Detection

要約

3D オブジェクト検出は、シーンを理解するために不可欠なコンポーネントです。
ただし、大規模な 3D データセットのアノテーションには多大な人間の労力が必要です。
この問題に取り組むために、多くの方法では、2D ボックスとシーン/クラス固有の事前分布を活用して 3D ボックスを推定する、弱教師付き 3D オブジェクト検出が採用されています。
ただし、これらのアプローチは通常、洗練された手動の事前分布に依存しており、新しいカテゴリやシーンに一般化するのは困難です。
この論文では、新しいシーンやクラスに簡単に適応できる一般的なアプローチを提案することに取り組んでいます。
RGB 画像と関連する 2D ボックスから 3D オブジェクト検出器を学習するための統合フレームワークが開発されています。
具体的には、LLM モデルから一般的なオブジェクトの幾何学的事前分布を取得する事前注入モジュール、投影された 3D ボックスと画像平面上の対応する 2D ボックスの境界間の不一致を最小限に抑える 2D 空間投影制約、および 3D 空間の 3 つの一般的なコンポーネントを提案します。
ジオメトリ コンストレイントを使用して、Point-to-Box のアライメント損失を構築し、推定された 3D ボックスの姿勢をさらに調整します。
KITTI および SUN-RGBD データセットの実験では、私たちの方法が 2D アノテーションのみで驚くほど高品質の 3D バウンディング ボックスを生成することを示しています。
ソース コードは https://github.com/gwenzhang/GGA で入手できます。

要約(オリジナル)

3D object detection is an indispensable component for scene understanding. However, the annotation of large-scale 3D datasets requires significant human effort. To tackle this problem, many methods adopt weakly supervised 3D object detection that estimates 3D boxes by leveraging 2D boxes and scene/class-specific priors. However, these approaches generally depend on sophisticated manual priors, which is hard to generalize to novel categories and scenes. In this paper, we are motivated to propose a general approach, which can be easily adapted to new scenes and/or classes. A unified framework is developed for learning 3D object detectors from RGB images and associated 2D boxes. In specific, we propose three general components: prior injection module to obtain general object geometric priors from LLM model, 2D space projection constraint to minimize the discrepancy between the boundaries of projected 3D boxes and their corresponding 2D boxes on the image plane, and 3D space geometry constraint to build a Point-to-Box alignment loss to further refine the pose of estimated 3D boxes. Experiments on KITTI and SUN-RGBD datasets demonstrate that our method yields surprisingly high-quality 3D bounding boxes with only 2D annotation. The source code is available at https://github.com/gwenzhang/GGA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google