4DContrast: Contrastive Learning with Dynamic Correspondences for 3D Scene Understanding

要約

教師なし事前トレーニングによって、学習した3D表現に4D動的オブジェクトの事前分布を浸透させるための新しいアプローチを紹介します。
環境を介したオブジェクトの動的な動きは、そのオブジェクト性に関する重要な手がかりを提供することを観察し、したがって、学習した3D表現にそのような動的な理解を吹き込み、それを下流の3Dセマンティックシーン理解タスクのパフォーマンス向上に効果的に転送できることを提案します。
静的3D環境で移動する合成3D形状を活用する新しいデータ拡張スキームを提案し、4D不変性を学習した3D表現にエンコードする3D-4D制約の下で対照的な学習を採用します。
実験は、教師なし表現学習により、ダウンストリームの3Dセマンティックセグメンテーション、オブジェクト検出、およびインスタンスセグメンテーションタスクが改善され、さらに、データが不足しているシナリオでのパフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

We present a new approach to instill 4D dynamic object priors into learned 3D representations by unsupervised pre-training. We observe that dynamic movement of an object through an environment provides important cues about its objectness, and thus propose to imbue learned 3D representations with such dynamic understanding, that can then be effectively transferred to improved performance in downstream 3D semantic scene understanding tasks. We propose a new data augmentation scheme leveraging synthetic 3D shapes moving in static 3D environments, and employ contrastive learning under 3D-4D constraints that encode 4D invariances into the learned 3D representations. Experiments demonstrate that our unsupervised representation learning results in improvement in downstream 3D semantic segmentation, object detection, and instance segmentation tasks, and moreover, notably improves performance in data-scarce scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google