Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training

要約

深層学習モデルの急速な進歩は、多くの場合、大量のトレーニング データを活用する能力によるものです。
対照的に、そのような特権は、主に大規模な 3D データセットの利用が限られているため、3D ディープ ラーニングにはまだ十分に恩恵をもたらしていません。
利用可能な複数のデータ ソースを結合し、単一のモデルを共同でトレーニングできるようにすることが、潜在的な解決策です。
ただし、3D 点群データセット間のドメイン ギャップが大きいため、このような混合監視はモデルのパフォーマンスに悪影響を及ぼし、単一データセットのトレーニングと比較してパフォーマンスの低下 (つまり、負の転送) を引き起こす可能性があります。
この課題を考慮して、複数の事前トレーニング パラダイムをサポートする 3D 表現学習のコンテキストにおけるマルチ データセット相乗学習のための新しいフレームワークであるポイント プロンプト トレーニング (PPT) を紹介します。
このフレームワークに基づいて、ドメイン固有のプロンプトを使用してモデルをさまざまなデータセットに適応させるプロンプト駆動の正規化と、ラベル テキスト間の関係を活用して複数のデータセットのラベル空間を適切に統合する言語ガイド付きのカテゴリー アライメントを提案します。
広範な実験により、PPT が相乗学習に伴う負の転移を克服し、一般化可能な表現を生成できることが検証されています。
特に、教師付きマルチデータセットトレーニングを備えた単一の重み共有モデルを使用して、各データセットで最先端のパフォーマンスを実現します。
さらに、事前トレーニング フレームワークとして機能すると、表現品質に関して他の事前トレーニング アプローチよりも優れたパフォーマンスを発揮し、屋内と屋外の両方の 3D シナリオにわたる 10 を超える多様な下流タスクにわたって驚くべき最先端のパフォーマンスを達成します。

要約(オリジナル)

The rapid advancement of deep learning models often attributes to their ability to leverage massive training data. In contrast, such privilege has not yet fully benefited 3D deep learning, mainly due to the limited availability of large-scale 3D datasets. Merging multiple available data sources and letting them collaboratively train a single model is a potential solution. However, due to the large domain gap between 3D point cloud datasets, such mixed supervision could adversely affect the model’s performance and lead to degenerated performance (i.e., negative transfer) compared to single-dataset training. In view of this challenge, we introduce Point Prompt Training (PPT), a novel framework for multi-dataset synergistic learning in the context of 3D representation learning that supports multiple pre-training paradigms. Based on this framework, we propose Prompt-driven Normalization, which adapts the model to different datasets with domain-specific prompts and Language-guided Categorical Alignment that decently unifies the multiple-dataset label spaces by leveraging the relationship between label text. Extensive experiments verify that PPT can overcome the negative transfer associated with synergistic learning and produce generalizable representations. Notably, it achieves state-of-the-art performance on each dataset using a single weight-shared model with supervised multi-dataset training. Moreover, when served as a pre-training framework, it outperforms other pre-training approaches regarding representation quality and attains remarkable state-of-the-art performance across over ten diverse downstream tasks spanning both indoor and outdoor 3D scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google