A Closer Look at Model Adaptation using Feature Distortion and Simplicity Bias

要約

事前訓練されたモデルの表現力の進歩により、安全で効果的な転移学習を可能にする適応プロトコルの設計への関心が高まっています。
従来の線形プロービング (LP) および微調整 (FT) 戦略を超えて、機能の歪み、つまり分布内に直交する機能の更新の失敗を効果的に制御できるプロトコルは、分布外の一般化の改善を達成することがわかっています。
(OOD)。
この歪みを制限するために、最初に線形プローブを学習し、次にこの初期化を後続の FT に使用する LP+FT プロトコルが提案されました。
ただし、このホワイト ペーパーでは、適応プロトコル (LP、FT、LP+FT) がさまざまな安全目標 (たとえば、キャリブレーション、ロバスト性など) についても評価される場合、機能の歪みに対する補完的な観点が説明に役立つことを発見しました。
プロトコルの振る舞い。
この目的のために、単純性バイアス (SB) に対するプロトコルの感受性、つまり単純な機能に依存するディープ ニューラル ネットワークのよく知られた傾向を研究します。
合成データセットを使用して、SB に対する既存のプロトコルの感受性を示します。
LP + FT の強力な有効性を考慮して、SB を軽減し、後続の FT の初期化を改善するのに役立つ修正された線形プローブを提案します。
制御された設定で SB を減少させるための提案された LP + FT バリアントの有効性、および 3 つの適応データセットで OOD の一般化と安全性を改善する能力を検証します。

要約(オリジナル)

Advances in the expressivity of pretrained models have increased interest in the design of adaptation protocols which enable safe and effective transfer learning. Going beyond conventional linear probing (LP) and fine tuning (FT) strategies, protocols that can effectively control feature distortion, i.e., the failure to update features orthogonal to the in-distribution, have been found to achieve improved out-of-distribution generalization (OOD). In order to limit this distortion, the LP+FT protocol, which first learns a linear probe and then uses this initialization for subsequent FT, was proposed. However, in this paper, we find when adaptation protocols (LP, FT, LP+FT) are also evaluated on a variety of safety objectives (e.g., calibration, robustness, etc.), a complementary perspective to feature distortion is helpful to explain protocol behavior. To this end, we study the susceptibility of protocols to simplicity bias (SB), i.e. the well-known propensity of deep neural networks to rely upon simple features, as SB has recently been shown to underlie several problems in robust generalization. Using a synthetic dataset, we demonstrate the susceptibility of existing protocols to SB. Given the strong effectiveness of LP+FT, we then propose modified linear probes that help mitigate SB, and lead to better initializations for subsequent FT. We verify the effectiveness of the proposed LP+FT variants for decreasing SB in a controlled setting, and their ability to improve OOD generalization and safety on three adaptation datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google