From Question to Exploration: Test-Time Adaptation in Semantic Segmentation?

要約

テスト時間適応（TTA）は、最初に訓練データで訓練されたモデルを、潜在的な分布シフトのあるテストデータに適応させることを目的としている。既存のTTA手法のほとんどは、分類問題に焦点を当てている。分類が顕著な成功を収めていることから、多くの新参者や技術者は、古典的なTTA手法が、より困難な課題であるセマンティックセグメンテーションにそのまま適用できると考えるかもしれない。しかし、この確信はまだ未解決の問題である。本論文では、既存の古典的なTTA戦略が意味セグメンテーションに適用可能かどうかを調査する。我々の包括的な結果から、3つの重要な見解が得られた。第一に、古典的な正規化更新戦略はわずかな性能向上しかもたらさず、場合によっては結果に悪影響を与えることさえある。バッチ再正規化のような高度な分布推定技術を適用しても、この問題は未解決のままである。第二に、教師-生徒スキームは、ノイズの多い擬似ラベルや時間的相関が存在する場合、セグメンテーションTTAの学習の安定性を向上させるが、複雑なデータ分布の下では、TTAを用いない元のモデルと比較して直接的に性能向上をもたらすことはできない。第三に、セグメンテーションTTAは、深刻なロングテールのクラス不均衡問題に悩まされる。このロングテールの問題は、擬似ラベルの精度が高い場合でも、セグメンテーションTTAの性能に悪影響を与える。これらの観察に加え、我々は視覚的プロンプトチューニング(VisPT)がセグメンテーションTTAにおいて有望であることを発見し、TTAPと名付けられた新しい手法を提案する。TTAPの優れた性能も検証されている。我々は、セグメンテーションTTAという挑戦的でありながら重要なタスクに、今後コミュニティがもっと注目することを願っている。ソースコードは以下から入手可能：\https://github.com/ycarobot/TTAP。

要約(オリジナル)

Test-time adaptation (TTA) aims to adapt a model, initially trained on training data, to test data with potential distribution shifts. Most existing TTA methods focus on classification problems. The pronounced success of classification might lead numerous newcomers and engineers to assume that classic TTA techniques can be directly applied to the more challenging task of semantic segmentation. However, this belief is still an open question. In this paper, we investigate the applicability of existing classic TTA strategies in semantic segmentation. Our comprehensive results have led to three key observations. First, the classic normalization updating strategy only brings slight performance improvement, and in some cases, it might even adversely affect the results. Even with the application of advanced distribution estimation techniques like batch renormalization, the problem remains unresolved. Second, although the teacher-student scheme does enhance the training stability for segmentation TTA in the presence of noisy pseudo-labels and temporal correlation, it cannot directly result in performance improvement compared to the original model without TTA under complex data distribution. Third, segmentation TTA suffers a severe long-tailed class-imbalance problem, which is substantially more complex than that in TTA for classification. This long-tailed challenge negatively affects segmentation TTA performance, even when the accuracy of pseudo-labels is high. Besides those observations, we find that visual prompt tuning (VisPT) is promising in segmentation TTA and propose a novel method named TTAP. The outstanding performance of TTAP has also been verified. We hope the community can give more attention to this challenging, yet important, segmentation TTA task in the future. The source code is available at: \textit{https://github.com/ycarobot/TTAP

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL