Masked Images Are Counterfactual Samples for Robust Fine-tuning

要約

ディープラーニングモデルは、トレーニングデータとテストデータとの間の分布シフトに挑戦しています。近年、多様なデータで事前に訓練された大規模なモデルは、様々な分布のずれに対してこれまでにない頑健性を示しています。しかし、これらのモデルでファインチューニングを行うと、分布内（ID）性能と分布外（OOD）ロバスト性のトレードオフが発生する可能性があります。このトレードオフに対処する既存の方法は、OODロバスト性の問題を明示的に扱っていません。本論文では、前述の問題の因果関係分析に基づき、微調整モデルの頑健性を向上させるのに役立つ反実仮想サンプルとしてマスクされた画像を使用する、新しい微調整方法を提案する。具体的には、クラス活性化マップに基づき、画像の意味関連パッチまたは意味非関連パッチをマスクしてスプリアス相関を解消し、マスクしたパッチに他の画像からのパッチを補充する。得られた反実仮想サンプルは、事前に訓練されたモデルによる特徴ベースの蒸留に用いられる。広範な実験により、提案したマスク画像で微調整を正則化することで、IDとOODの間のより良いトレードオフを達成でき、OOD性能において従来の方法を上回ることが確認された。我々のコードは公開される予定である。

要約(オリジナル)

Deep learning models are challenged by the distribution shift between the training data and test data. Recently, the large models pre-trained on diverse data demonstrate unprecedented robustness to various distribution shifts. However, fine-tuning on these models can lead to a trade-off between in-distribution (ID) performance and out-of-distribution (OOD) robustness. Existing methods for tackling this trade-off do not explicitly address the OOD robustness problem. In this paper, based on causal analysis on the aforementioned problems, we propose a novel fine-tuning method, which use masked images as counterfactual samples that help improving the robustness of the fine-tuning model. Specifically, we mask either the semantics-related or semantics-unrelated patches of the images based on class activation map to break the spurious correlation, and refill the masked patches with patches from other images. The resulting counterfactual samples are used in feature-based distillation with the pre-trained model. Extensive experiments verify that regularizing the fine-tuning with the proposed masked images can achieve a better trade-off between ID and OOD, surpassing previous methods on the OOD performance. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL