Guiding Pseudo-labels with Uncertainty Estimation for Test-Time Adaptation

要約

標準の教師なしドメイン適応 (UDA) メソッドは、適応中にソース データとターゲット データの両方が利用可能であることを前提としています。
この作業では、モデルがソース データにアクセスせずにターゲット ドメインに適応される UDA の特定のケースである Test-Time Adaptation (TTA) を調査します。
必然的に疑似ラベルに影響を与えるノイズに対するロバスト性をもたらす損失再重み付け戦略に基づいて、TTA 設定の新しいアプローチを提案します。
分類損失は、不確実性を推定することによって測定される疑似ラベルの信頼性に基づいて再重み付けされます。
このような再重み付け戦略に導かれて、疑似ラベルは、隣接するサンプルからの知識を集約することによって徐々に洗練されます。
さらに、このような知識の集約を強化するために、自己管理型の対照的なフレームワークがターゲット空間の正則化として活用されます。
疑似ラベルに多少のノイズが存在する場合でも、同じクラスを共有するサンプルで作成されたネガティブ ペアを識別して除外する、新しいネガティブ ペア除外戦略が提案されています。
私たちの方法は、3 つの主要なベンチマークで以前の方法よりも大幅に優れています。
新しい TTA の最先端技術を VisDA-C と DomainNet で設定し、両方のベンチマークで +1.8\% のパフォーマンス向上を実現し、PACS では単一ソース設定で +12.3\%、単一ソース設定で +6.6\% のパフォーマンス向上を達成しました。
\ マルチターゲット適応。
追加の分析は、提案されたアプローチがノイズに対して堅牢であることを示しており、その結果、最先端のアプローチと比較して、疑似ラベルが大幅に正確になります。

要約(オリジナル)

Standard Unsupervised Domain Adaptation (UDA) methods assume the availability of both source and target data during the adaptation. In this work, we investigate the Test-Time Adaptation (TTA), a specific case of UDA where a model is adapted to a target domain without access to source data. We propose a novel approach for the TTA setting based on a loss reweighting strategy that brings robustness against the noise that inevitably affects the pseudo-labels. The classification loss is reweighted based on the reliability of the pseudo-labels that is measured by estimating their uncertainty. Guided by such reweighting strategy, the pseudo-labels are progressively refined by aggregating knowledge from neighbouring samples. Furthermore, a self-supervised contrastive framework is leveraged as a target space regulariser to enhance such knowledge aggregation. A novel negative pairs exclusion strategy is proposed to identify and exclude negative pairs made of samples sharing the same class, even in presence of some noise in the pseudo-labels. Our method outperforms previous methods on three major benchmarks by a large margin. We set the new TTA state-of-the-art on VisDA-C and DomainNet with a performance gain of +1.8\% on both benchmarks and on PACS with +12.3\% in the single-source setting and +6.6\% in\ multi-target adaptation. Additional analyses demonstrate that the proposed approach is robust to the noise, which results in significantly more accurate pseudo-labels compared to state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google