Mitigating Prior Shape Bias in Point Clouds via Differentiable Center Learning

要約

マスクされた自動エンコードと生成前削除は、コンピュータービジョンと自然言語処理で顕著な成功を収めており、最近ではポイントクラウドドメインに拡張されています。
それにもかかわらず、既存のポイントクラウドモデルは、センターポイントの事前サンプリングによる情報漏れの問題に悩まされており、モデルの些細なプロキシタスクにつながります。
これらのアプローチは、主にローカル機能の再構築に焦点を当てており、ポイントクラウド内のグローバルなパターンをキャプチャする能力を制限しています。
この論文では、事前テキストの難易度が減少したことで、表現型表現を学習するモデルの能力が妨げられると主張します。
これらの制限に対処するために、微分可能センターサンプリングネットワーク（DCS-NET）と呼ばれる新しいソリューションを導入します。
グローバル機能の再構築とローカルフィーチャの再構成の両方を非重要なプロキシタスクとして組み込み、ポイントクラウド内のグローバルパターンとローカルパターンの両方を同時に学習できるようにすることにより、情報漏れの問題に取り組みます。
実験結果は、我々の方法が既存のポイントクラウドモデルの表現能力を高め、情報漏れの問題に効果的に対処することを示しています。

要約(オリジナル)

Masked autoencoding and generative pretraining have achieved remarkable success in computer vision and natural language processing, and more recently, they have been extended to the point cloud domain. Nevertheless, existing point cloud models suffer from the issue of information leakage due to the pre-sampling of center points, which leads to trivial proxy tasks for the models. These approaches primarily focus on local feature reconstruction, limiting their ability to capture global patterns within point clouds. In this paper, we argue that the reduced difficulty of pretext tasks hampers the model’s capacity to learn expressive representations. To address these limitations, we introduce a novel solution called the Differentiable Center Sampling Network (DCS-Net). It tackles the information leakage problem by incorporating both global feature reconstruction and local feature reconstruction as non-trivial proxy tasks, enabling simultaneous learning of both the global and local patterns within point cloud. Experimental results demonstrate that our method enhances the expressive capacity of existing point cloud models and effectively addresses the issue of information leakage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google