Towards Improved Input Masking for Convolutional Neural Networks

要約

機械学習モデルの入力から特徴を削除する機能は、モデルの予測を理解して解釈するために非常に重要です。
ただし、入力画像の一部をマスクアウトすると通常は大きな分布シフトが発生するため、これは視覚モデルにとっては自明ではありません。
これは、マスキングに使用されるベースライン色 (通常はグレーまたは黒) が配布されていないためです。
さらに、マスクの形状自体に、モデルの予測に使用される可能性のある不要な信号が含まれる可能性があります。
最近、ビジョントランスフォーマーの画像マスキングにおけるこの問題 (欠落バイアスと呼ばれる) を軽減する点である程度の進歩が見られました。
この研究では、マスキングによって引き起こされる欠落バイアスが大幅に低減される、レイヤー マスキングと呼ばれる CNN 用の新しいマスキング方法を提案します。
直感的には、レイヤー マスキングは中間アクティベーション マップにマスクを適用し、モデルがマスクされていない入力のみを処理するようにします。
私たちの方法は、(i) モデルの出力に対するマスクの形状または色の影響を排除または最小限に抑えることができ、(ii) 入力摂動に基づく解釈可能性に関しては、マスクされた領域を黒またはグレーに置き換えるよりもはるかに優れていることを示します。
LIMEのようなテクニック。
したがって、レイヤー マスキングは、他のマスキング戦略よりも欠落バイアスの影響をはるかに受けません。
また、マスクの形状によってクラスに関する情報がどのように漏れ、入力マスキングから得られるクラス関連の特徴に対するモデルの依存度の推定に影響を与える可能性があるかについても示します。
さらに、この問題に取り組むためのデータ拡張技術の役割について議論し、それらはモデルのマスク形状への依存を防ぐには十分ではないと主張します。
このプロジェクトのコードは https://github.com/SriramB-98/layer_masking で公開されています。

要約(オリジナル)

The ability to remove features from the input of machine learning models is very important to understand and interpret model predictions. However, this is non-trivial for vision models since masking out parts of the input image typically causes large distribution shifts. This is because the baseline color used for masking (typically grey or black) is out of distribution. Furthermore, the shape of the mask itself can contain unwanted signals which can be used by the model for its predictions. Recently, there has been some progress in mitigating this issue (called missingness bias) in image masking for vision transformers. In this work, we propose a new masking method for CNNs we call layer masking in which the missingness bias caused by masking is reduced to a large extent. Intuitively, layer masking applies a mask to intermediate activation maps so that the model only processes the unmasked input. We show that our method (i) is able to eliminate or minimize the influence of the mask shape or color on the output of the model, and (ii) is much better than replacing the masked region by black or grey for input perturbation based interpretability techniques like LIME. Thus, layer masking is much less affected by missingness bias than other masking strategies. We also demonstrate how the shape of the mask may leak information about the class, thus affecting estimates of model reliance on class-relevant features derived from input masking. Furthermore, we discuss the role of data augmentation techniques for tackling this problem, and argue that they are not sufficient for preventing model reliance on mask shape. The code for this project is publicly available at https://github.com/SriramB-98/layer_masking

arxiv情報

提供元, 利用サービス

arxiv.jp, Google