To Supervise or Not to Supervise: Understanding and Addressing the Key Challenges of 3D Transfer Learning

要約

転移学習は長い間、2D 画像解析を含む多くの分野の進歩における重要な要素でした。
残念ながら、3D データ処理におけるその適用性は比較的限られています。
最近の文献では 3D 転移学習のいくつかのアプローチが提案されており、特に対比学習が注目を集めていますが、この分野の既存の手法のほとんどは限られたシナリオでのみ研究および評価されています。
最も重要なことは、3D 転移学習法がいつ、そしてなぜ適用されるのかについて、原則的な理解が現在不足していることです。
驚くべきことに、標準的な教師付き事前トレーニングの適用性さえもほとんど理解されていません。
この研究では、教師あり対照的事前トレーニング戦略と、下流の 3D タスクにおけるその有用性について、初めて詳細な定量的および定性的調査を実施します。
学習された特徴のレイヤーごとの分析により、トレーニングされたネットワークの下流の有用性についての重要な洞察が得られることを実証します。
この分析に基づいて、教師あり事前トレーニングの伝達可能性を向上させる、単純な幾何学的正則化戦略を提案します。
したがって、私たちの研究は、3D 転移学習の特有の課題と、それらを克服する戦略の両方に光を当てています。

要約(オリジナル)

Transfer learning has long been a key factor in the advancement of many fields including 2D image analysis. Unfortunately, its applicability in 3D data processing has been relatively limited. While several approaches for 3D transfer learning have been proposed in recent literature, with contrastive learning gaining particular prominence, most existing methods in this domain have only been studied and evaluated in limited scenarios. Most importantly, there is currently a lack of principled understanding of both when and why 3D transfer learning methods are applicable. Remarkably, even the applicability of standard supervised pre-training is poorly understood. In this work, we conduct the first in-depth quantitative and qualitative investigation of supervised and contrastive pre-training strategies and their utility in downstream 3D tasks. We demonstrate that layer-wise analysis of learned features provides significant insight into the downstream utility of trained networks. Informed by this analysis, we propose a simple geometric regularization strategy, which improves the transferability of supervised pre-training. Our work thus sheds light onto both the specific challenges of 3D transfer learning, as well as strategies to overcome them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google