Sonata: Self-Supervised Learning of Reliable Point Representations

要約

この論文では、限られたデータと最小計算であっても、単純な線形プロービングを介して多様な3Dタスクに使用できる信頼性の高い自己監視ポイントクラウドモデルがあるかどうかを疑問視します。
既存の3D自己監視学習アプローチは、線形プロービングを通じて表現品質について評価すると不十分であることがわかります。
これは、「幾何学的なショートカット」と呼ばれるものによるものであり、表現が低レベルの空間的特徴に崩壊する原因となると仮定します。
この課題は3Dに固有のものであり、ポイントクラウドデータのまばらな性質から生じます。
2つの重要な戦略を通じてそれに対処します。空間情報を不明瞭にし、入力機能への依存を強化し、最終的には140kポイント雲のソナタを自己導入して構成します。
Sonataはシンプルで直感的ですが、学習した表現は強力で信頼性が高くなります。ゼロショットの視覚化は、最近傍関係による強力な空間的推論とともにセマンティックグループ化を示します。
Sonataは、例外的なパラメーターとデータ効率を示し、スキャンネットでは線形プロービング精度（21.8％から72.5％）を3倍にし、以前のアプローチと比較してデータの1％のみでパフォーマンスをほぼ2倍にします。
完全な微調整は、3D屋内と屋外の認識タスクの両方でSOTAをさらに進めます。

要約(オリジナル)

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the ‘geometric shortcut’, which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google