Tackling Shortcut Learning in Deep Neural Networks: An Iterative Approach with Interpretable Models

要約

ショートカット学習を軽減するために、概念ベースの解釈可能なモデルを使用します。
既存の方法には解釈可能性がありません。
ブラックボックスから始めて、解釈可能な専門家 (MoIE) と残余ネットワークの混合物を繰り返し切り出します。
各専門家は、一次ロジック (FOL) を使用してデータのサブセットを説明します。
サンプルを説明しながら、バイアスされた BB 由来の MoIE からの FOL がショートカットを効果的に検出します。
メタデータ正規化 (MDN) を使用して BB を微調整すると、ショートカットが不要になります。
微調整された BB 由来の MoIE の FOL は、ショートカットの削除を検証します。
私たちの実験では、MoIE がオリジナルの BB の精度を損なわず、ショートカットを効果的に排除できることがわかりました。

要約(オリジナル)

We use concept-based interpretable models to mitigate shortcut learning. Existing methods lack interpretability. Beginning with a Blackbox, we iteratively carve out a mixture of interpretable experts (MoIE) and a residual network. Each expert explains a subset of data using First Order Logic (FOL). While explaining a sample, the FOL from biased BB-derived MoIE detects the shortcut effectively. Finetuning the BB with Metadata Normalization (MDN) eliminates the shortcut. The FOLs from the finetuned-BB-derived MoIE verify the elimination of the shortcut. Our experiments show that MoIE does not hurt the accuracy of the original BB and eliminates shortcuts effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google