UniTTA: Unified Benchmark and Versatile Framework Towards Realistic Test-Time Adaptation

要約

テスト時適応 (TTA) は、テスト中に事前トレーニングされたモデルをターゲット ドメインに適応させることを目的としています。
実際には、この適応性は複数の要因によって影響を受ける可能性があります。
研究者たちは、さまざまな困難なシナリオを特定し、継続的なドメインのシフト、混合ドメイン、時間的に相関するまたは不均衡なクラス分布への対処など、これらの課題に対処するための多様な方法を開発してきました。
こうした努力にもかかわらず、統一的かつ包括的なベンチマークはまだ確立されていません。
この目的を達成するために、私たちは包括的で広く適用可能な Unified Test-Time Adaptation (UniTTA) ベンチマークを提案します。
ベンチマーク内の各シナリオは、元のデータセットからサンプリングするためのマルコフ状態遷移行列によって完全に記述されます。
UniTTA ベンチマークは、ドメインとクラスの両方をデータの 2 つの独立した次元として考慮し、不均衡/バランスと i.i.d./非 i.i.d./連続条件のさまざまな組み合わせに対処し、合計 \( (2 \times 3)^2 = 36 \) をカバーします。
シナリオ。
これは、現実的な TTA の包括的な評価ベンチマークを確立し、実践者が最適な TTA 方法を選択するためのガイドラインを提供します。
このベンチマークに加えて、私たちは、バランスドドメイン正規化（BDN）層とCOr関連特徴適応（COFA）メソッドを含む多用途のUniTTAフレームワークを提案します。これらは、それぞれドメインとクラスの分布ギャップを軽減するように設計されています。
広範な実験により、当社の UniTTA フレームワークが UniTTA ベンチマーク内で優れており、平均して最先端のパフォーマンスを達成していることが実証されています。
私たちのコードは \url{https://github.com/LeapLabTHU/UniTTA} で入手できます。

要約(オリジナル)

Test-Time Adaptation (TTA) aims to adapt pre-trained models to the target domain during testing. In reality, this adaptability can be influenced by multiple factors. Researchers have identified various challenging scenarios and developed diverse methods to address these challenges, such as dealing with continual domain shifts, mixed domains, and temporally correlated or imbalanced class distributions. Despite these efforts, a unified and comprehensive benchmark has yet to be established. To this end, we propose a Unified Test-Time Adaptation (UniTTA) benchmark, which is comprehensive and widely applicable. Each scenario within the benchmark is fully described by a Markov state transition matrix for sampling from the original dataset. The UniTTA benchmark considers both domain and class as two independent dimensions of data and addresses various combinations of imbalance/balance and i.i.d./non-i.i.d./continual conditions, covering a total of \( (2 \times 3)^2 = 36 \) scenarios. It establishes a comprehensive evaluation benchmark for realistic TTA and provides a guideline for practitioners to select the most suitable TTA method. Alongside this benchmark, we propose a versatile UniTTA framework, which includes a Balanced Domain Normalization (BDN) layer and a COrrelated Feature Adaptation (COFA) method–designed to mitigate distribution gaps in domain and class, respectively. Extensive experiments demonstrate that our UniTTA framework excels within the UniTTA benchmark and achieves state-of-the-art performance on average. Our code is available at \url{https://github.com/LeapLabTHU/UniTTA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google