Locating and Mitigating Gradient Conflicts in Point Cloud Domain Adaptation via Saliency Map Skewness

要約

ポイントクラウドデータを使用しているオブジェクト分類モデルは、3Dメディアの理解の基本ですが、目に見えないまたは分散除外（OOD）シナリオに苦労することがよくあります。
既存のPoint Cloud監視されていないドメイン適応（UDA）メソッドは、通常、プライマリ分類タスクと補助的なセルフスーパービジョンタスクを組み合わせて、ドメインの特徴分布間のギャップを埋めるためのマルチタスク学習（MTL）フレームワークを採用しています。
しかし、さらなる実験は、自己監視タスクのすべての勾配が有益ではないことを示しており、一部は分類パフォーマンスに悪影響を与える可能性があります。
この論文では、これらの勾配競合を緩和するために、顕著性マップベースのデータサンプリングブロック（SM-DSB）と呼ばれる新しいソリューションを提案します。
具体的には、我々の方法は、ターゲットラベルを必要とせずに勾配競合を推定するために、3D顕著性マップの歪度に基づいた新しいスコアリングメカニズムを設計します。
これを活用して、セルフスーパービジョンの勾配が分類に有益ではないサンプルを動的に除外するサンプル選択戦略を開発します。
私たちのアプローチはスケーラブルで、控えめな計算オーバーヘッドを導入し、すべてのポイントクラウドUDA MTLフレームワークに統合できます。
広範な評価は、私たちの方法が最先端のアプローチよりも優れていることを示しています。
さらに、バックプロパゲーション分析を通じてUDAの問題を理解することに関する新しい視点を提供します。

要約(オリジナル)

Object classification models utilizing point cloud data are fundamental for 3D media understanding, yet they often struggle with unseen or out-of-distribution (OOD) scenarios. Existing point cloud unsupervised domain adaptation (UDA) methods typically employ a multi-task learning (MTL) framework that combines primary classification tasks with auxiliary self-supervision tasks to bridge the gap between cross-domain feature distributions. However, our further experiments demonstrate that not all gradients from self-supervision tasks are beneficial and some may negatively impact the classification performance. In this paper, we propose a novel solution, termed Saliency Map-based Data Sampling Block (SM-DSB), to mitigate these gradient conflicts. Specifically, our method designs a new scoring mechanism based on the skewness of 3D saliency maps to estimate gradient conflicts without requiring target labels. Leveraging this, we develop a sample selection strategy that dynamically filters out samples whose self-supervision gradients are not beneficial for the classification. Our approach is scalable, introducing modest computational overhead, and can be integrated into all the point cloud UDA MTL frameworks. Extensive evaluations demonstrate that our method outperforms state-of-the-art approaches. In addition, we provide a new perspective on understanding the UDA problem through back-propagation analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google