UniDet3D: Multi-dataset Indoor 3D Object Detection

要約

ロボティクスや拡張現実におけるスマート ソリューションに対する顧客の需要の高まりにより、点群からの 3D オブジェクト検出に大きな注目が集まっています。
しかし、個別に取得された既存の屋内データセットは、強力で一般的な 3D 物体検出モデルをトレーニングするには小さすぎ、多様性が不十分です。
一方で、基礎モデルを利用したより一般的なアプローチは、特定のタスクの教師ありトレーニングに基づくアプローチよりも品質が依然として劣っています。
この研究では、シンプルかつ効果的な 3D 物体検出モデル \ours{} を提案します。このモデルは、屋内データセットの混合でトレーニングされ、さまざまな屋内環境で機能します。
\ours{} は、異なるラベル空間を統合することで、教師あり共同トレーニング スキームを通じて複数のデータセットにわたる強力な表現を学習できるようにします。
提案されたネットワーク アーキテクチャは、標準的なトランスフォーマー エンコーダーに基づいて構築されており、実用化に向けて予測パイプラインの実行、カスタマイズ、拡張が容易になります。
広範な実験により、ScanNet (+1.1 mAP50)、ARKitScenes (+19.4 mAP25)、S3DIS (+9.1 mAP50)、MultiScan (+9.3 mAP50)、
3RScan (+3.2 mAP50)、および ScanNet++ (+2.7 mAP50)。
コードは https://github.com/filapro/unidet3d で入手できます。

要約(オリジナル)

Growing customer demand for smart solutions in robotics and augmented reality has attracted considerable attention to 3D object detection from point clouds. Yet, existing indoor datasets taken individually are too small and insufficiently diverse to train a powerful and general 3D object detection model. In the meantime, more general approaches utilizing foundation models are still inferior in quality to those based on supervised training for a specific task. In this work, we propose \ours{}, a simple yet effective 3D object detection model, which is trained on a mixture of indoor datasets and is capable of working in various indoor environments. By unifying different label spaces, \ours{} enables learning a strong representation across multiple datasets through a supervised joint training scheme. The proposed network architecture is built upon a vanilla transformer encoder, making it easy to run, customize and extend the prediction pipeline for practical use. Extensive experiments demonstrate that \ours{} obtains significant gains over existing 3D object detection methods in 6 indoor benchmarks: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50), and ScanNet++ (+2.7 mAP50). Code is available at https://github.com/filapro/unidet3d .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google