Explicit3D: Graph Network with Spatial Inference \\for Single Image 3D Object Detection

要約

屋内の 3D オブジェクト検出は、単一の画像シーンを理解する上で不可欠なタスクであり、視覚的推論における空間認識に根本的に影響を与えます。
単一の画像からの 3D オブジェクト検出に関する既存の作業は、各オブジェクトの独立した予測を通じてこの目標を追求するか、すべての可能なオブジェクトを暗黙のうちに推論して、オブジェクト間の関係幾何学的情報を利用できません。
この問題に対処するために、オブジェクトのジオメトリとセマンティクスの機能に基づいて、Explicit3D という名前の動的スパース グラフ パイプラインを提案します。
効率を考慮して、関連性スコアをさらに定義し、疎なシーン グラフの生成と更新のためのクラスター サンプリング方法に続く、新しい動的プルーニング アルゴリズムを設計します。
さらに、Explicit3D は同種行列を導入し、新しい相対損失とコーナー損失を定義して、ターゲット ペア間の空間的な違いを明示的にモデル化します。
グラウンド トゥルース ラベルを直接監視として使用する代わりに、相対損失とコーナー損失は同次変換から導出され、モデルをレンダリングしてオブジェクト間の幾何学的一貫性を学習します。
SUN RGB-D データセットでの実験結果は、当社の Explicit3D が最先端のものよりも優れたパフォーマンス バランスを実現することを示しています。

要約(オリジナル)

Indoor 3D object detection is an essential task in single image scene understanding, impacting spatial cognition fundamentally in visual reasoning. Existing works on 3D object detection from a single image either pursue this goal through independent predictions of each object or implicitly reason over all possible objects, failing to harness relational geometric information between objects. To address this problem, we propose a dynamic sparse graph pipeline named Explicit3D based on object geometry and semantics features. Taking the efficiency into consideration, we further define a relatedness score and design a novel dynamic pruning algorithm followed by a cluster sampling method for sparse scene graph generation and updating. Furthermore, our Explicit3D introduces homogeneous matrices and defines new relative loss and corner loss to model the spatial difference between target pairs explicitly. Instead of using ground-truth labels as direct supervision, our relative and corner loss are derived from the homogeneous transformation, which renders the model to learn the geometric consistency between objects. The experimental results on the SUN RGB-D dataset demonstrate that our Explicit3D achieves better performance balance than the-state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google