Masked Images Are Counterfactual Samples for Robust Fine-tuning

要約

ディープ ラーニング モデルは、トレーニング データとテスト データの間の分布シフトによって問題が生じます。
最近、多様なデータで事前トレーニングされた大規模モデルは、さまざまな分布の変化に対して前例のない堅牢性を示しています。
ただし、これらのモデルを微調整すると、分布内 (ID) のパフォーマンスと分布外 (OOD) の堅牢性の間でトレードオフが生じる可能性があります。
このトレードオフに対処するための既存の方法は、OOD の堅牢性の問題に明示的に対処していません。
この論文では、前述の問題に関する因果分析に基づいて、微調整モデルのロバスト性を改善するのに役立つ反事実サンプルとしてマスクされた画像を使用する、新しい微調整方法を提案します。
具体的には、クラス アクティベーション マップに基づいてイメージのセマンティクス関連またはセマンティクスに関連しないパッチをマスクして、偽の相関関係を破り、マスクされたパッチを他のイメージからのパッチで補充します。
得られた反事実サンプルは、事前トレーニング済みモデルを使用した特徴ベースの抽出で使用されます。
広範な実験により、提案されたマスクされた画像で微調整を正則化することで、ID と OOD パフォーマンスの間のより良いトレードオフを実現でき、OOD パフォーマンスに関する以前の方法を上回ることが確認されています。
私たちのコードは公開されます。

要約(オリジナル)

Deep learning models are challenged by the distribution shift between the training data and test data. Recently, the large models pre-trained on diverse data demonstrate unprecedented robustness to various distribution shifts. However, fine-tuning on these models can lead to a trade-off between in-distribution (ID) performance and out-of-distribution (OOD) robustness. Existing methods for tackling this trade-off do not explicitly address the OOD robustness problem. In this paper, based on causal analysis on the aforementioned problems, we propose a novel fine-tuning method, which use masked images as counterfactual samples that help improving the robustness of the fine-tuning model. Specifically, we mask either the semantics-related or semantics-unrelated patches of the images based on class activation map to break the spurious correlation, and refill the masked patches with patches from other images. The resulting counterfactual samples are used in feature-based distillation with the pre-trained model. Extensive experiments verify that regularizing the fine-tuning with the proposed masked images can achieve a better trade-off between ID and OOD performance, surpassing previous methods on the OOD performance. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google