Mechanistic Mode Connectivity

要約

ニューラル ネットワークは、$偽の\、属性$の識別に役立つ学習メカニズムに偏っていることが知られており、分布シフトの下で十分に一般化されない特徴を生み出します。
この制限を理解し対処するために、$mode\、connectivity$ のレンズを通してニューラル ネットワークの損失状況のジオメトリを研究します。これは、ニューラル ネットワークの最小化機能が低損失の単純なパスを介して接続されているという観察結果です。
私たちの仕事は2つの質問に取り組んでいます.
(ii) 事前トレーニング済みのモデルを微調整すると、そのような最小化ツールを切り替えるのに役立ちますか?
$\textit{mechanistic similarity}$ の概念を定義し、2 つの最小値間の線形接続の欠如は、対応するモデルが予測を行うために異なるメカニズムを使用することを意味することを示します。
このプロパティは、na$\'{i}$ve の微調整がモデルの偽の属性への依存を排除​​できない可能性があることを示すのに役立ちます。
したがって、$connectivity$-$based$ $fine$-$tuning$ という名前のモデルのメカニズムを変更する方法を提案し、偽の属性に対して不変なモデルを誘導することによってその有用性を検証します。

要約(オリジナル)

Neural networks are known to be biased towards learning mechanisms that help identify $spurious\, attributes$, yielding features that do not generalize well under distribution shifts. To understand and address this limitation, we study the geometry of neural network loss landscapes through the lens of $mode\, connectivity$, the observation that minimizers of neural networks are connected via simple paths of low loss. Our work addresses two questions: (i) do minimizers that encode dissimilar mechanisms connect via simple paths of low loss? (ii) can fine-tuning a pretrained model help switch between such minimizers? We define a notion of $\textit{mechanistic similarity}$ and demonstrate that lack of linear connectivity between two minimizers implies the corresponding models use dissimilar mechanisms for making their predictions. This property helps us demonstrate that na$\'{i}$ve fine-tuning can fail to eliminate a model’s reliance on spurious attributes. We thus propose a method for altering a model’s mechanisms, named $connectivity$-$based$ $fine$-$tuning$, and validate its usefulness by inducing models invariant to spurious attributes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google