Contrastive Predictive Autoencoders for Dynamic Point Cloud Self-Supervised Learning

要約

我々は、点群列の理解に関する新しい自己教師ありパラダイムを提示します。
識別的および生成的自己教師あり手法に触発されて、より包括的な時空間表現を共同で学習するために、点群シーケンスに基づく対照的予測と再構成 (CPR) という 2 つのタスクを設計します。
具体的には、まず密な点群セグメントがエンコーダに入力され、エンベディングが抽出されます。
その後、最後のセグメントを除くすべてがコンテキスト認識型自動回帰機能によって集計され、最後のターゲット セグメントの予測が行われます。
多粒度構造をモデル化するという目標に向けて、予測とターゲットの間でローカルおよびグローバルの対照学習が実行されます。
表現の一般化をさらに改善するために、予測はデコーダによって生の点群シーケンスを再構築するためにも利用され、点群の色付けが異なるフレームを区別するために使用されます。
古典的なコントラストと再構成パラダイムを組み合わせることで、グローバルな識別とローカルな認識の両方を備えた学習された表現が作成されます。
4 つの点群シーケンス ベンチマークで実験を実施し、複数の実験設定でのアクション認識とジェスチャ認識の結果を報告します。
パフォーマンスは教師あり手法と同等であり、強力な転移性を示します。

要約(オリジナル)

We present a new self-supervised paradigm on point cloud sequence understanding. Inspired by the discriminative and generative self-supervised methods, we design two tasks, namely point cloud sequence based Contrastive Prediction and Reconstruction (CPR), to collaboratively learn more comprehensive spatiotemporal representations. Specifically, dense point cloud segments are first input into an encoder to extract embeddings. All but the last ones are then aggregated by a context-aware autoregressor to make predictions for the last target segment. Towards the goal of modeling multi-granularity structures, local and global contrastive learning are performed between predictions and targets. To further improve the generalization of representations, the predictions are also utilized to reconstruct raw point cloud sequences by a decoder, where point cloud colorization is employed to discriminate against different frames. By combining classic contrast and reconstruction paradigms, it makes the learned representations with both global discrimination and local perception. We conduct experiments on four point cloud sequence benchmarks, and report the results on action recognition and gesture recognition under multiple experimental settings. The performances are comparable with supervised methods and show powerful transferability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google