TR3D: Towards Real-Time Indoor 3D Object Detection

要約

最近、スパース3次元畳み込みが3次元物体検出に変化をもたらした。投票ベースのアプローチと同等の性能を持つ3D CNNは、メモリ効率が良く、大きなシーンへの拡張性も高い。しかし、まだ改善の余地がある。問題解決を意識した実践的なアプローチで、我々はこのような手法の性能を分析し、弱点を特定する。TR3Dは、ScanNet v2、SUN RGB-D、S3DISといった標準的なベンチマークにおいて、最先端の結果を達成することができる高速な完全畳み込み3次元物体検出モデルです。さらに、点群とRGBの両方の入力を利用するために、2次元と3次元の特徴を早期に融合させる手法を導入しています。この融合モジュールを用いて、従来の3次元物体検出手法をマルチモーダル化し、性能の大幅な向上を実証する。TR3D+FFと呼ばれるこのモデルは、SUN RGB-Dデータセットにおいて、既存の3次元物体検出手法を凌駕する性能を発揮します。TR3DとTR3D+FFは、高精度であることに加え、軽量でメモリ効率が高く、高速であることから、リアルタイム3D物体検出への道を切り開く新たなマイルストーンとなります。コードは https://github.com/SamsungLabs/tr3d で公開されています。

要約(オリジナル)

Recently, sparse 3D convolutions have changed 3D object detection. Performing on par with the voting-based approaches, 3D CNNs are memory-efficient and scale to large scenes better. However, there is still room for improvement. With a conscious, practice-oriented approach to problem-solving, we analyze the performance of such methods and localize the weaknesses. Applying modifications that resolve the found issues one by one, we end up with TR3D: a fast fully-convolutional 3D object detection model trained end-to-end, that achieves state-of-the-art results on the standard benchmarks, ScanNet v2, SUN RGB-D, and S3DIS. Moreover, to take advantage of both point cloud and RGB inputs, we introduce an early fusion of 2D and 3D features. We employ our fusion module to make conventional 3D object detection methods multimodal and demonstrate an impressive boost in performance. Our model with early feature fusion, which we refer to as TR3D+FF, outperforms existing 3D object detection approaches on the SUN RGB-D dataset. Overall, besides being accurate, both TR3D and TR3D+FF models are lightweight, memory-efficient, and fast, thereby marking another milestone on the way toward real-time 3D object detection. Code is available at https://github.com/SamsungLabs/tr3d .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL