Self-supervised Point Cloud Representation Learning via Separating Mixed Shapes

要約

大規模な点群の手動注釈には多くの時間がかかり、通常、過酷な現実のシナリオでは使用できません。
ビジョンと言語の両方のタスクにおける事前トレーニングと微調整パラダイムの大きな成功に触発されて、事前トレーニングは 3D ポイント クラウド ダウンストリーム タスクへのスケーラブルなモデルを取得するための 1 つの潜在的なソリューションであると主張します。
したがって、この論文では、3D点群表現学習のために、Mixing and Disentangling（MD）と呼ばれる新しい自己教師あり学習方法を探ります。
名前が示すように、2 つの入力形状を混合し、混合形状から入力を分離するためにモデルの学習を要求します。
この再構築タスクを、自己教師あり学習の口実最適化目標として活用します。
2 つの主な利点があります。1) ImageNet などの一般的な画像データセットと比較して、点群データセットは事実上小さいです。
混合プロセスにより、はるかに大きなオンライン トレーニング サンプル プールを提供できます。
2) 一方、もつれをほぐすプロセスは、モデルがキーポイントなどの幾何学的事前知識をマイニングするように動機付けます。
提案された口実タスクの有効性を検証するために、1 つのエンコーダーと 1 つのデコーダーで構成される 1 つのベースライン ネットワークを構築します。
事前トレーニング中に、2 つの元の形状を混合し、エンコーダーからジオメトリを認識した埋め込みを取得します。次に、インスタンス適応デコーダーを適用して、埋め込みから元の形状を復元します。
単純ではありますが、事前トレーニング済みのエンコーダーは、目に見えない点群の重要なポイントをキャプチャでき、ダウンストリーム タスクでゼロからトレーニングされたエンコーダーを凌駕します。
提案された方法は、点群の分類とセグメンテーションのタスクに関して、ModelNet-40 と ShapeNet-Part データセットの両方で経験的なパフォーマンスを向上させました。
さらに、アブレーション研究を実施して、各コンポーネントの効果を調査し、さまざまなバックボーンを利用して、提案された戦略の一般化を検証します。

要約(オリジナル)

The manual annotation for large-scale point clouds costs a lot of time and is usually unavailable in harsh real-world scenarios. Inspired by the great success of the pre-training and fine-tuning paradigm in both vision and language tasks, we argue that pre-training is one potential solution for obtaining a scalable model to 3D point cloud downstream tasks as well. In this paper, we, therefore, explore a new self-supervised learning method, called Mixing and Disentangling (MD), for 3D point cloud representation learning. As the name implies, we mix two input shapes and demand the model learning to separate the inputs from the mixed shape. We leverage this reconstruction task as the pretext optimization objective for self-supervised learning. There are two primary advantages: 1) Compared to prevailing image datasets, eg, ImageNet, point cloud datasets are de facto small. The mixing process can provide a much larger online training sample pool. 2) On the other hand, the disentangling process motivates the model to mine the geometric prior knowledge, eg, key points. To verify the effectiveness of the proposed pretext task, we build one baseline network, which is composed of one encoder and one decoder. During pre-training, we mix two original shapes and obtain the geometry-aware embedding from the encoder, then an instance-adaptive decoder is applied to recover the original shapes from the embedding. Albeit simple, the pre-trained encoder can capture the key points of an unseen point cloud and surpasses the encoder trained from scratch on downstream tasks. The proposed method has improved the empirical performance on both ModelNet-40 and ShapeNet-Part datasets in terms of point cloud classification and segmentation tasks. We further conduct ablation studies to explore the effect of each component and verify the generalization of our proposed strategy by harnessing different backbones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google