IAE: Implicit Autoencoder for Point Cloud Self-supervised Representation Learning

要約

自動エンコードは、多くの分野で人気のあるトピックであり、最近 3D ドメインで登場しました。
ただし、多くの 3D 表現 (点群など) は、基礎となる連続した 3D サーフェスの離散サンプルであるため、他のデータ モダリティとは異なります。
このプロセスでは、基礎となる 3D 形状にサンプリングのバリエーションが必然的に導入されます。
3D 表現を学習する際の望ましい目標は、基礎となる 3D 形状の伝達可能な知識を取得することに焦点を当てながら、このようなサンプリングの変動を無視することです。
この目的は、既存の表現学習パラダイムに大きな挑戦をもたらします。
たとえば、標準の自動エンコード パラダイムでは、デコーダーが元のポイント クラウドを再構築する必要があるため、エンコーダーはこのようなサンプリング バリエーションをキャプチャする必要があります。
この論文では、Implicit Autoencoder (IAE) を紹介します。
このシンプルかつ効果的な方法は、点群デコーダーを暗黙的デコーダーに置き換えることで、この課題に対処します。
暗黙的デコーダーは、同じモデルの異なる点群サンプリング間で共有される連続表現を出力できます。
暗黙的な表現の下で再構成すると、エンコーダーがサンプリングのバリエーションを破棄することを優先でき、適切な誘導バイアスを導入して、より一般化可能な特徴表現を学習できます。
この主張は、実験分析によって検証されます。
さらに、私たちの暗黙的デコーダーは、さまざまなタスクに適した暗黙的表現を設計する際に優れた柔軟性を提供します。
3D オブジェクトと 3D シーンの両方のさまざまな自己教師あり学習タスク全体で IAE の有用性を示します。
実験結果は、IAE が一貫して各タスクで最新技術よりも優れていることを示しています。

要約(オリジナル)

Autoencoding has been a popular topic across many fields and recently emerged in the 3D domain. However, many 3D representations (e.g., point clouds) are discrete samples of the underlying continuous 3D surface which makes them different from other data modalities. This process inevitably introduces sampling variations on the underlying 3D shapes. In learning 3D representation, a desirable goal is to disregard such sampling variations while focusing on capturing transferable knowledge of the underlying 3D shape. This aim poses a grand challenge to existing representation learning paradigms. For example, the standard autoencoding paradigm forces the encoder to capture such sampling variations as the decoder has to reconstruct the original point cloud. In this paper, we introduce the Implicit Autoencoder(IAE). This simple yet effective method addresses this challenge by replacing the point cloud decoder with an implicit decoder. The implicit decoder can output a continuous representation that is shared among different point cloud samplings of the same model. Reconstructing under the implicit representation can prioritize that the encoder discards sampling variations, introducing appropriate inductive bias to learn more generalizable feature representations. We validate this claim via experimental analysis. Moreover, our implicit decoder offers excellent flexibility in designing suitable implicit representations for different tasks. We demonstrate the usefulness of IAE across various self-supervised learning tasks for both 3D objects and 3D scenes. Experimental results show that IAE consistently outperforms the state-of-the-art in each task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google