Towards Robust Multimodal Open-set Test-time Adaptation via Adaptive Entropy-aware Optimization

要約

テスト時間適応（TTA）は、トレーニングとテストデータの間の分布シフトに対処する上で重要な可能性を実証しています。
オープンセットのテスト時間適応（OSTTA）は、ソースの事前訓練を受けたモデルをオンラインでオンラインで適応させることを目的としています。
このタスクは、複数のモダリティが関与すると、より困難になります。
既存の方法は主にユニモーダルOSTTAに焦点を合わせており、多くの場合、マルチモーダルデータの複雑さに対処せずに低自信サンプルを除外します。
この作業では、マルチモーダルオープンセットテスト時間適応（MM-OSTTA）に初めて取り組むために特別に設計された新しいフレームワークであるAdaptive Entropy-Aware Optimization（AEO）を提示します。
我々の分析は、ターゲットドメインの既知のサンプルと未知のサンプルのエントロピーの違いが、MM-ASTTAパフォーマンスと強く相関することを示しています。
これを活用するために、2つの重要なコンポーネントを提案します：未知の適応エントロピー最適化（UAE）と適応モダリティ予測の不一致（AMP）。
これらのコンポーネントは、既知のサンプルと未知のサンプルの間のエントロピーの違いを増幅することにより、オンライン適応中に未知のクラスサンプルを区別するモデルの能力を高めます。
MM-ASTTA設定で提案された方法を徹底的に評価するために、既存のデータセットから派生した新しいベンチマークを確立します。
このベンチマークには、2つのダウンストリームタスクが含まれており、5つのモダリティが組み込まれています。
さまざまなドメインシフト状況にわたる広範な実験は、AEOフレームワークの有効性と汎用性を示しています。
さらに、長期的および継続的なMM-ASTTA設定でのAEOの強力なパフォーマンスを強調します。どちらも挑戦的であり、実際のアプリケーションに非常に関連しています。
ソースコードは、https：//github.com/donghao51/aeoで入手できます。

要約(オリジナル)

Test-time adaptation (TTA) has demonstrated significant potential in addressing distribution shifts between training and testing data. Open-set test-time adaptation (OSTTA) aims to adapt a source pre-trained model online to an unlabeled target domain that contains unknown classes. This task becomes more challenging when multiple modalities are involved. Existing methods have primarily focused on unimodal OSTTA, often filtering out low-confidence samples without addressing the complexities of multimodal data. In this work, we present Adaptive Entropy-aware Optimization (AEO), a novel framework specifically designed to tackle Multimodal Open-set Test-time Adaptation (MM-OSTTA) for the first time. Our analysis shows that the entropy difference between known and unknown samples in the target domain strongly correlates with MM-OSTTA performance. To leverage this, we propose two key components: Unknown-aware Adaptive Entropy Optimization (UAE) and Adaptive Modality Prediction Discrepancy Optimization (AMP). These components enhance the ability of model to distinguish unknown class samples during online adaptation by amplifying the entropy difference between known and unknown samples. To thoroughly evaluate our proposed methods in the MM-OSTTA setting, we establish a new benchmark derived from existing datasets. This benchmark includes two downstream tasks and incorporates five modalities. Extensive experiments across various domain shift situations demonstrate the efficacy and versatility of the AEO framework. Additionally, we highlight the strong performance of AEO in long-term and continual MM-OSTTA settings, both of which are challenging and highly relevant to real-world applications. Our source code is available at https://github.com/donghao51/AEO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google