Beyond Viewpoint: Robust 3D Object Recognition under Arbitrary Views through Joint Multi-Part Representation

要約

既存のビューベースの方法は、事前に定義された視点から 3D オブジェクトを認識することに優れていますが、任意のビューでの認識の探索には限界があります。
各オブジェクトの視点位置や視点量が異なり、ポーズも揃っていないため、現実的で難しい設定です。
ただし、複数のビュー フィーチャを集約してグローバル フィーチャ表現を取得するほとんどのビュー ベースの方法では、任意のビューでの 3D オブジェクト認識に対処するのが困難です。
任意のビューからの入力が整列されていないため、機能を堅牢に集約することが困難であり、パフォーマンスの低下につながります。
本稿では、これらの問題に対処するために、部品ベースの表現である新しい部品認識ネットワーク (PANet) を紹介します。
このパーツベースの表現は、飛行機の翼や尾翼などの 3D オブジェクトのさまざまなパーツを位置特定して理解することを目的としています。
これには、視点の不変性や回転の堅牢性などの特性があり、任意のビューの下で 3D オブジェクト認識問題に対処する際に有利になります。
ベンチマーク データセットに関する結果は、任意のビューでの 3D オブジェクト認識タスクに関して、私たちが提案した手法が既存のビューベースの集計ベースラインを上回り、ほとんどの固定視点手法をも上回ることを明確に示しています。

要約(オリジナル)

Existing view-based methods excel at recognizing 3D objects from predefined viewpoints, but their exploration of recognition under arbitrary views is limited. This is a challenging and realistic setting because each object has different viewpoint positions and quantities, and their poses are not aligned. However, most view-based methods, which aggregate multiple view features to obtain a global feature representation, hard to address 3D object recognition under arbitrary views. Due to the unaligned inputs from arbitrary views, it is challenging to robustly aggregate features, leading to performance degradation. In this paper, we introduce a novel Part-aware Network (PANet), which is a part-based representation, to address these issues. This part-based representation aims to localize and understand different parts of 3D objects, such as airplane wings and tails. It has properties such as viewpoint invariance and rotation robustness, which give it an advantage in addressing the 3D object recognition problem under arbitrary views. Our results on benchmark datasets clearly demonstrate that our proposed method outperforms existing view-based aggregation baselines for the task of 3D object recognition under arbitrary views, even surpassing most fixed viewpoint methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google