3D-Aware Object Localization using Gaussian Implicit Occupancy Function

要約

画像中の対象物の位置を自動的に特定することは、多くのコンピュータビジョンアプリケーションにとって極めて重要である。最近、楕円の表現が、軸に沿ったバウンディングボックスに代わるオブジェクトのローカライゼーションの方法として注目されている。本論文では、3Dを意識した楕円ラベル、すなわち、2Dターゲットローカライゼーションのために画像中のオブジェクトの3D楕円体近似の投影である楕円ラベルを検討する。このような汎用楕円体モデルは、粗く知られたターゲットを扱うことを可能にし、3D認識楕円体検出は、従来の3Dにとらわれないバウンディングボックスラベルよりも、オブジェクトに関する幾何学的情報を伝える。我々は、楕円回帰を新たに検討し、幾何学的な楕円のパラメータを、画像中のオブジェクト占有率を符号化する暗黙のガウス分布のパラメータに置き換えることを提案する。モデルは、連続的な統計的損失関数を用いて、この二変量ガウス分布の値を画像ピクセルに回帰するように学習される。我々は、分布パラメータを抽出するために、新しい非学習的微分可能層であるE-DSNTを導入する。また、ターゲットと相対的なポーズラベルの粗い次元のみを用いて、一貫した3Dを意識したガウス分布パラメータを容易に生成する方法について説明する。我々の仮説を検証するために、3つの既存の宇宙船ポーズ推定データセットを3D-aware Gaussian occupancy labelsで拡張する。

要約(オリジナル)

To automatically localize a target object in an image is crucial for many computer vision applications. Recently ellipse representations have been identified as an alternative to axis-aligned bounding boxes for object localization. This paper considers 3D-aware ellipse labels, i.e., which are projections of a 3D ellipsoidal approximation of the object in the images for 2D target localization. Such generic ellipsoidal models allow for handling coarsely known targets, and 3D-aware ellipse detections carry more geometric information about the object than traditional 3D-agnostic bounding box labels. We propose to have a new look at ellipse regression and replace the geometric ellipse parameters with the parameters of an implicit Gaussian distribution encoding object occupancy in the image. The models are trained to regress the values of this bivariate Gaussian distribution over the image pixels using a continuous statistical loss function. We introduce a novel non-trainable differentiable layer, E-DSNT, to extract the distribution parameters. Also, we describe how to readily generate consistent 3D-aware Gaussian occupancy parameters using only coarse dimensions of the target and relative pose labels. We extend three existing spacecraft pose estimation datasets with 3D-aware Gaussian occupancy labels to validate our hypothesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL