Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis

要約

点群の特徴は不規則性と非構造性であり、効率的なデータ活用と識別的な特徴抽出に課題をもたらす。本論文では、任意の形状とトポロジーを持つ不規則な3次元点群を、完全に規則的な2次元点幾何画像（PGI）構造として表現する教師なし深層神経アーキテクチャFlattening-Netを発表する。\また、Flattening-Netは、局所的に滑らかな3次元から2次元への表面平坦化処理を暗黙のうちに近似し、近傍の一貫性を効果的に保持することができます。\また、PGIは汎用的な表現モダリティとして、多様体構造の本質的な性質を内包し、表面的な点特徴量の集約を容易にする｝。その可能性を示すために、我々はPGIを直接操作する統一的な学習フレームワークを構築し、分類、セグメンテーション、再構成、アップサンプリングなど、特定のタスクネットワークによって駆動する高位および低位の多様な種類の下流アプリケーションを実現する。本手法は、広範な実験により、現在の最先端技術を持つ競合他社に対して良好な性能を示すことが実証されています。コードとデータは、https://github.com/keeganhk/Flattening-Net で一般に公開する予定です。

要約(オリジナル)

Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL