Cyclical Compound Domain Test-time Adaptation via Continual Domain-Matching Algorithm

要約

テスト時間適応 (TTA) は、エッジ デバイスの生涯学習の重要なコンポーネントであり、事前トレーニング済みのモデルがテスト時間中に新しい環境に適応する能力を指します。
その実用性からTTAは大きな注目を集め、昨今急速に業績を伸ばしています。
このホワイト ペーパーでは、未調査でありながらより現実的な TTA シナリオを提示し、循環化合物ドメイン (CCD) と名付けられた、このシナリオに有利な強力なベースラインを提供します。
CCD は、ターゲット ドメインに複数のサブターゲット ドメイン (つまり、天候や時間の変化による複合ドメイン) が含まれ、サブターゲット ドメインが周期的に上昇する可能性が高い現実世界のシナリオを表しています。
残念ながら、既存の研究はこのもっともらしいシナリオを忠実に説明しておらず、繰り返されるサブターゲット ドメインから得られた過去の知識を破棄しながら、現在のサブターゲット ドメインに適応することにのみ焦点を当てています。
したがって、TTAモデルが複合ドメインからの知識を管理できるようにする軽量のドメインマッチングアルゴリズムを最初に提案します。
このアルゴリズムは、現在の画像の分布を参照ドメイン ポイントと継続的に照合することにより、サブターゲット ドメイン間でドメインのタイプを識別します。
さらに、我々が新たに提案した正則化手法は、現在の分布とソース分布を比較して、サブターゲット ドメインの各データに従って適応ペースを正則化します。
ImageNet-C での画像分類、GTA5 でのセマンティック セグメンテーション、C 駆動のデータセット、破損のある都市景観など、さまざまなベンチマークで、シンプルかつ効果的なアプローチが適応パフォーマンスを向上させることを定性的に示します。

要約(オリジナル)

Test-time adaptation (TTA), a key component of lifelong learning in edge devices, refers to the ability of a pre-trained model to adapt itself to new environments during test time. Due to its practical ability, TTA has attracted significant attention and experienced a rapid performance boost these days. In this paper, we present an under-explored yet more realistic TTA scenario and provide a strong baseline favorable to this scenario, named cyclical compound domain (CCD). The CCD represents the real-world scenario in which the target domain contains multiple sub-target domains (i.e., compound domain due to weather or time change) and the sub-target domains are likely to rise cyclically. Unfortunately, existing works do not faithfully account for this plausible scenario, only focusing on adapting to the current sub-target domain while discarding the past knowledge acquired from repeated sub-target domains. Therefore, we first propose a lightweight domain-matching algorithm that allows the TTA model to manage knowledge from the compound domain. This algorithm identifies the type of domain among sub-target domains by continuously matching the current image’s distribution with reference domain points. Moreover, our newly proposed regularization method compares the present distribution with source one in order to regularize the adaptation pace according to each data in sub-target domains. Qualitatively, we demonstrate that our simple-yet-effective approach improves the adaptation performance on various benchmarks, including image classification on ImageNet-C and semantic segmentation on GTA5, C-driving datasets, and Cityscapes with corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google