Uncertainty-Guided Alignment for Unsupervised Domain Adaptation in Regression

要約

回帰のための教師なしドメイン適応 (UDAR) は、回帰タスクのためにラベル付きソース ドメインからラベルなしターゲット ドメインにモデルを適応させることを目的としています。
UDAR で最近成功した研究は、主に部分空間の位置合わせに焦点を当てており、特徴空間全体内の選択された部分空間の位置合わせが含まれます。
これは、特徴空間全体を位置合わせすることを目的とした分類に使用される特徴位置合わせ方法とは対照的であり、効果的であることが証明されていますが、回帰設定ではそれほど効果がありません。
具体的には、分類は埋め込み次元全体にわたって個別のクラスターを識別することを目的としていますが、回帰ではデータ表現の構造が減少するため、効率的な位置合わせのための追加のガイダンスが必要になります。
この論文では、不確実性からのガイダンスを組み込むことによる UDAR の効果的な方法を提案します。
私たちのアプローチは、予測の信頼性の尺度を提供することと、埋め込み空間の正則化として機能することの 2 つの目的を果たします。
具体的には、各入力サンプルの予測と不確実性の両方を出力する深層証拠学習フレームワークを活用します。
我々は、特徴レベルまたは事後レベルで従来の位置合わせ方法を使用して、ソースドメインとターゲットドメインの間で高次の証拠分布のパラメータを位置合わせすることを提案します。
さらに、ラベルの類似性に基づいてソース サンプルと擬似ラベル付けされたターゲット サンプルを混合することにより、特徴空間表現を拡張することを提案します。
このクロスドメイン混合戦略は、ランダム混合よりも現実的なサンプルを生成し、より高い不確実性をもたらし、さらなる調整を容易にします。
UDAR の 4 つのベンチマークでアプローチの有効性を実証し、既存の手法よりも優れたパフォーマンスを示します。

要約(オリジナル)

Unsupervised Domain Adaptation for Regression (UDAR) aims to adapt a model from a labeled source domain to an unlabeled target domain for regression tasks. Recent successful works in UDAR mostly focus on subspace alignment, involving the alignment of a selected subspace within the entire feature space. This contrasts with the feature alignment methods used for classification, which aim at aligning the entire feature space and have proven effective but are less so in regression settings. Specifically, while classification aims to identify separate clusters across the entire embedding dimension, regression induces less structure in the data representation, necessitating additional guidance for efficient alignment. In this paper, we propose an effective method for UDAR by incorporating guidance from uncertainty. Our approach serves a dual purpose: providing a measure of confidence in predictions and acting as a regularization of the embedding space. Specifically, we leverage the Deep Evidential Learning framework, which outputs both predictions and uncertainties for each input sample. We propose aligning the parameters of higher-order evidential distributions between the source and target domains using traditional alignment methods at the feature or posterior level. Additionally, we propose to augment the feature space representation by mixing source samples with pseudo-labeled target samples based on label similarity. This cross-domain mixing strategy produces more realistic samples than random mixing and introduces higher uncertainty, facilitating further alignment. We demonstrate the effectiveness of our approach on four benchmarks for UDAR, on which we outperform existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google