A dataset-free approach for self-supervised learning of 3D reflectional symmetries

要約

このホワイトペーパーでは、入力オブジェクト自体のみでデータセットに依存するデータセットを必要とせずに、単一のオブジェクトの対称性を検出することを学ぶ自己監視モデルを探索します。
オブジェクトの対称性は、本質的な特徴によって決定され、トレーニング中の大規模なデータセットの必要性を排除できると仮定します。
さらに、グラウンドトゥルースラベルの必要性を排除する自己監視学習戦略を設計します。
これらの2つの重要な要素により、アプローチは効果的かつ効率的になり、このタスクの大きなラベル付きデータセットの構築に関連する法外なコストに対処します。
私たちの方法の斬新さは、対称点が同様の視覚的外観を示すべきだという考えに基づいて、オブジェクト上の各ポイントのコンピューティング機能にあります。
これを達成するために、基礎画像モデルから抽出された機能を活用して、ポイントの視覚的記述子を計算します。
このアプローチは、自己監視モデルの最適化を促進する視覚的な機能をポイントクラウドに装備しています。
実験結果は、私たちの方法が大規模なデータセットで訓練された最先端のモデルを上回ることを示しています。
さらに、私たちのモデルはより効率的で効果的であり、最小限の計算リソースとデータリソースで動作します。

要約(オリジナル)

In this paper, we explore a self-supervised model that learns to detect the symmetry of a single object without requiring a dataset-relying solely on the input object itself. We hypothesize that the symmetry of an object can be determined by its intrinsic features, eliminating the need for large datasets during training. Additionally, we design a self-supervised learning strategy that removes the necessity of ground truth labels. These two key elements make our approach both effective and efficient, addressing the prohibitive costs associated with constructing large, labeled datasets for this task. The novelty of our method lies in computing features for each point on the object based on the idea that symmetric points should exhibit similar visual appearances. To achieve this, we leverage features extracted from a foundational image model to compute a visual descriptor for the points. This approach equips the point cloud with visual features that facilitate the optimization of our self-supervised model. Experimental results demonstrate that our method surpasses the state-of-the-art models trained on large datasets. Furthermore, our model is more efficient, effective, and operates with minimal computational and data resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google